mpeg audio

Sat, 18 Nov 2006 17:55:55 GMT

以前的笔记。

MPEG audio包含两个标准ISO/IEC 11172-3和13818-3，前者是mpeg1也就是通常说的vcd的，后一个是mpeg2也即DVD。两者原理都相同，直观上的区别是采样率后者正好是前者的一半。同样一段数据，采样率越低得到的数据量越少，因此要得到相同甚至更好的音质，MPEG2 audio采用的声学模型完全不同。

mpeg audio有三种采样率32，44.1和48，对应mpeg2的采样率为16，22.05和24。从低到高依次称为layer1，2，3。因此通常说的mp3也就是mpeg audio layer 3。记录的声道有四种模式：mono，dual，stereo和joint。根据两声道的数据特点，把两个声道的组合起来传输。

mpeg audio的主要原理是利用人耳的掩模特性，也就是相邻频段的tone会被能量很强的tone掩盖住，人耳只能识别这个频段的能量最高的tone，因此audio压缩的流程是通过FFT变换生成32个subband，然后对每个子带通过声学心理模型进行量化，然后进行MDCT分析，modified discrete cosine transform。解码反向。mp3相对来说还是比较简单，时间比较久了，很多内容一时都相不起来了。

下面这段是比较mpeg1 audio和mpeg2 audio的差别

Header information within the first 32 bits of the ISO/IEC 11172-3 audio frame.
Cyclic Redundancy Check (CRC), consisting of 16 bits, just after the header information (optional)
Audio data, for Layer II consisting of bit allocation (BAL), scalefactor select information (SCFSI), scalefactors (SCF), and the subband samples.
Ancillary data. Due to the large number of different applications which will use the ISO/IEC 11172-3 Standard, the length and usage of this field are not specified.
IS decoding and scalefactor definition changed

mp3 之后又出现aac，以及aac+，最大的差别是引入了ps和sbr。AAC编码已经成了3gpp的主要音频编码标准年之一。关于aac编码倒是值得仔细review下。

参考资料：

ISO/IEC 13818-3 Generic Coding of Moving Pictures and Associated Audio
ISO/IEC 11172-3 Coding of Moving Pictures and Associated Audio
A Tutorial on MPEG/Audio Compression: IEEE Multimedia Journal, Summer 1995 issue
Digital Audio Compression: Digital Technical Journal Vol. 5 No. 2, Spring 1993
http://www.mpeg.org/

video algorithms

Tue, 14 Nov 2006 17:45:29 GMT

最近写了好几篇关于无线通讯，尤其是蓝牙的文章，被人误以为我对蓝牙有什么企图。澄清下，我对蓝牙确实有企图，不仅限于蓝牙，还包括其他无线通讯技术，IP通讯，多媒体以及其他我关注的技术。找个spaces写下来就是免得每次看完感兴趣的技术只是成为PPT，在某个文件夹里孤零零的躺着，至少强迫自己总结下，还可以持续跟踪着，不断更新，看技术的发展，还有自己逐步的理解，等于是思想的轨迹。

重新整理以前研究过的视频资料陆续贴上来，先写把视频算法的发展，以后计划还要整理mpeg-4，264，wmv；音频包括mp3，aac；还有嵌入式系统和芯片及实现的一些想法，尤其最后一部分当时和WH、BF讨论过很多，不少还成了专利。

流行的视频算法其实不多，基本按时间顺序整理从261一直到264（以前叫26L，之后又叫AVC，也代表了这个算法的发展历史）

H.261：ITU-T在ISDN时代提出来的，大概一帧65kbits，数据率就是帧率*64kbps，帧率通常不超过30fps，主要应用场合也就是ISDN video phone;

MPEG-1:ISO标准11172-2（-3是对应的audio标准mp3），码率在1.2Mbps，典型应用当然是vcd，专业说起来是cdrom存储；

MPEG-2：ISO标准13818-2（-3同样是audio标准，仍然是mp3，不过版本不同，采样率也不一样），码率在4-80Mbps，惊人呵，因为设计的应用是SDTB和HDTV，后来主要成为DVD的存储格式；

H.263：ITU-T标准，码率小于64kbps，h263的产生是为了IP视频会议，因此在早期视频电话和视频会议上基本是主流算法，甚至在目前很多基于IP的可视电话上，h263还是标准算法之一，从算法本身来讲它和之后产生的MPEG-4没有太大区别；

MPEG-4：ISO标准14496-2（对应的audio标准是aac-lc），码率从24-1024kbps，因为加入了error-resilliance，适用于无线信道传输，这个几乎成为了目前流媒体的主要格式，因为apple的quick-time以及微软早期的mediaplayer版本，还有real用的都是mpeg4；mpeg4的演变比较传奇，微软在发布mpeg4 v1 v2之后，源代码被一批人搞出来，起了名字叫divx，在网上提供免费代码opensource，搞着搞着，越来越多人加入，他们发现了里面的商业价值，于是从opensource计划里专门分出一个商业化版本，两个版分别用URL .com和.org来区分，早期的divx两个版本还是相差不多，满满从3.0开始，商业版越来越快，整个计划的商业气味也越来越浓，如今divx的播放器也是相当流行的，不过在那个时候一起参加opensource计划人开始不爽，因为他们是免费付出，divx的人去用来转换为商业利益，于是xvid粉墨登场。

H.263v2：ITU-T用来和ISO的MPEG-4竞争的算法，和H.263的差别好像是多了de-block filter；

H.264：最早是由ITU-T提出来的，那时版本称为H.26L，之后和ISO组织的AVC合并，这个一直定位的是将来的视频算法，这个将来的含义是264的编解码芯片一直没有出现（指的不是DSP方案），而且264主要针对的是数字电视标准和新一代的DVD储存标准，这些都还未进入市场。264足够复杂，为芯片面积和功耗考虑，只能实现最基本层baseline profile；

除了这两大标准组织发布的视频算法，微软的wmv9应该已经批准成为国际标准，它的许可费用比起mpeg-4以及264相当有诱惑力，而且有微软的操作系统支持，前景还是可以看好的，目前一些multiformat的芯片，都会把wmv9列作支持的算法之一；国内的avs和微软的算法一样都是和264很类似，为了降低264编解码的复杂度，消减了一些tool，后果当然就是dB下降。目前看来还是h264的编码效率最高了。

上面列的这些算法，基本原理都是相同的，利用视频流的数据冗余，冗余包括空间冗余（同一帧内具有相关性），时间冗余（前后帧也有相关性）以及统计冗余，采用预测和纠正的方式来压缩图像数据。用文字来描述就是每次获取一帧图像，先经过余弦变换，消除统计冗余，然后在同一帧内进行预测，预测是指从前一个像素来推断下一个像素的值，于是这个推断的方法（向量）以及推断后的差值被保留，这样只要记录很少数据就能保存一帧数据，这样还不够。之前说到帧与帧之间有很大关联性，30fps，这一刻的图像和1/30秒之后图像应该只是很少变化，因此同样根据前一帧来推断下一帧的值（运动矢量），因此以后的帧我们只需要记住运动矢量，以及和实际图像的差值（残值）就可以实现基本的视频压缩算法。不同算法的差别就在于预测的帧数，预测的方向，以及用于预测的算法工具。而对硬件实现的挑战则在于需要大量的存储单元，以及预测方式是把所有可能的方向都计算出来，误差最小的作为预测值，带来大量的运算复杂度，通常做优化也就是根据经验减少预测的数目。

千江有水千江月: multimedia

mpeg audio

video algorithms