《第3章多媒体数据和数据压缩技术.ppt》由会员分享,可在线阅读,更多相关《第3章多媒体数据和数据压缩技术.ppt(50页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、多媒体数据的分类和表示多媒体数据的分类和表示3.1音音 频频 数数 据据3.2静态图像文件静态图像文件 3.3动态图像文件动态图像文件 3.4多媒体数据压缩技术多媒体数据压缩技术 3.53.1.1 多媒体数据的分类和特点多媒体数据的分类和特点1数据量巨大数据量巨大2数据类型多数据类型多3数据类型之间差距大数据类型之间差距大4多媒体数据的输入和输出复杂多媒体数据的输入和输出复杂1文本的基本格式文本的基本格式非格式化文本文件:非格式化文本文件:格式化文本文件:格式化文本文件:3.1.2 多媒体数据的表示多媒体数据的表示 数字音频(数字音频(Audio)主要可分为语音、)主要可分为语音、音乐和音效音
2、乐和音效3种。种。2声音文件的基本格式声音文件的基本格式 图形(图形(Graphic)一般指用计算机绘制)一般指用计算机绘制的画面,如直线、圆、圆弧、矩形、任意的画面,如直线、圆、圆弧、矩形、任意曲线和图表等。曲线和图表等。 图像(图像(Image)是指由输入设备捕捉)是指由输入设备捕捉的实际场景画面,或以数字化形式存储的的实际场景画面,或以数字化形式存储的任意画面。任意画面。3图形图像的基本格式图形图像的基本格式4动画文件的基本格式动画文件的基本格式 存储动画的文件格式有存储动画的文件格式有Gif、Fla、Swf等。等。5视频文件的基本格式视频文件的基本格式 视频文件的存储格式有视频文件的存
3、储格式有Avi、Mpeg、Mov、Dat等。等。3.2.1 声音的基本特点及数字化声音的基本特点及数字化周期振幅t基准线图图3-1 3-1 声波的振幅和频率声波的振幅和频率(1)采样频率。)采样频率。(2)采样的量化大小。)采样的量化大小。(3)采样的声道数。)采样的声道数。1音频文件的种类音频文件的种类(1)WAV文件文件(2)MP3文件文件(3)WMA文件文件(4)VOC文件文件(5)MIDI文件文件3.2.2 音频文件的种类及音频文件的种类及MIDI音音频频(1)什么是)什么是MIDI MIDI是是Musical Instrument Digital Interface(乐器数字接口)的
4、缩写。(乐器数字接口)的缩写。MIDI是一种国际标准,是计算机和是一种国际标准,是计算机和MIDI设备之设备之间进行信息交换的一整套规则,包括各种间进行信息交换的一整套规则,包括各种电子乐器之间传送数据的通信协议。电子乐器之间传送数据的通信协议。(2)MIDI设备配置设备配置2MIDI音频音频 MIDI端口。端口。 MIDI键盘。键盘。 音序器(音序器(Sequencer)。)。 合成器。合成器。MIDI合成方式合成方式 目前被广泛采用的目前被广泛采用的MIDI合成方式主要合成方式主要有调频合成(有调频合成(FM)和波形表合成()和波形表合成(Wave Table)两种方式。)两种方式。 波表
5、与波表与FM的最大区别就在于,的最大区别就在于,FM通通过对简单正弦波的线性控制来模拟音乐乐过对简单正弦波的线性控制来模拟音乐乐器、鼓和特殊效果,而波表采用真实的声器、鼓和特殊效果,而波表采用真实的声音样本进行回放,因此采用波表合成的音样本进行回放,因此采用波表合成的MIDI音乐听上去更接近自然、更具真实感,音乐听上去更接近自然、更具真实感,而而FM合成的合成的MIDI音乐则多带有人工合成音乐则多带有人工合成的色彩。的色彩。3MIDI文件的特点文件的特点3.3.1 图像原理图像原理1图形与图像图形与图像 计算机屏幕上显示出来的画面与文字,计算机屏幕上显示出来的画面与文字,通常有两种描述方法:一
6、种方法称为矢量通常有两种描述方法:一种方法称为矢量图形或几何图形,简称图形(图形或几何图形,简称图形(Graphics););另一种叫做点阵图像或位图图像,简称图另一种叫做点阵图像或位图图像,简称图像(像(Image)。)。3.3 3.3 静态图像文件静态图像文件 图形是用一个指令集合来描述的。这图形是用一个指令集合来描述的。这些指令描述构成一幅图的所有直线、圆、些指令描述构成一幅图的所有直线、圆、圆弧、矩形、曲线等的位置、维数和大小、圆弧、矩形、曲线等的位置、维数和大小、形状、颜色。形状、颜色。 图像是指在空间和亮度上已经离散化图像是指在空间和亮度上已经离散化的图像。可以把一幅位图图像理解为
7、一个的图像。可以把一幅位图图像理解为一个矩形,矩形中的任一元素都对应图像上的矩形,矩形中的任一元素都对应图像上的一个点,在计算机中对应于该点的值为它一个点,在计算机中对应于该点的值为它的灰度或颜色等级。的灰度或颜色等级。 彩色空间是指彩色图像所使用的彩色彩色空间是指彩色图像所使用的彩色描述方法(也叫彩色模式)。常用的彩色描述方法(也叫彩色模式)。常用的彩色空间有空间有RGB(红绿蓝)空间、(红绿蓝)空间、CMYK(青(青橙黄黑)空间和橙黄黑)空间和YUV(亮度、色差)空间。(亮度、色差)空间。 2彩色空间与位平面彩色空间与位平面 位平面是指彩色图像的各个彩色成分位平面是指彩色图像的各个彩色成分
8、的所有像素构成的一个集合。如的所有像素构成的一个集合。如RGB空间空间中的彩色图像有中的彩色图像有3个位平面,即个位平面,即R、G、B平面。平面。 3分辨率分辨率(1)屏幕分辨率。)屏幕分辨率。(2)图像分辨率。)图像分辨率。(3)显示器分辨率。)显示器分辨率。(4)像素分辨率。)像素分辨率。 4图像深度图像深度1一些绘图软件创建数字图像。一些绘图软件创建数字图像。2从屏幕上抓取图像,然后把它加从屏幕上抓取图像,然后把它加到画图程序或应用程序中。到画图程序或应用程序中。3用数字设备获取图像。用数字设备获取图像。4用扫描仪及数字转换设备获取图用扫描仪及数字转换设备获取图像。像。5利用现成的图像库
9、。利用现成的图像库。3.3.2 静态图像的获取静态图像的获取1BMP格式格式2PCX格式格式3GIF格式格式4TIF格式格式5JPG和和PIC格式格式6PCD格式格式3.3.3 静态图像文件格式静态图像文件格式3.4.1 动态图像动态图像1动态图像动态图像 所谓动态图像就是指连续地随时间变所谓动态图像就是指连续地随时间变化的一组图像,有时将它称为视频或运动化的一组图像,有时将它称为视频或运动图像。图像。 典型的帧率是典型的帧率是24帧帧/秒、秒、25帧帧/秒和秒和30帧帧/秒,这样的视频图像看起来才能达到顺畅秒,这样的视频图像看起来才能达到顺畅和连续的效果。和连续的效果。(1)NTSC制式制式
10、(2)PAL制式制式(3)SECAM制式制式(4)HDTV2电视制式电视制式1视频的数字化视频的数字化2视频卡视频卡3.4.2 动态图像的获取动态图像的获取1AVI文件文件2MPEG文件文件3DAT文件文件4FLIC文件文件5MMM动画文件动画文件6MOV文件文件7DIR格式格式3.4.3 动态图像文件格式动态图像文件格式3.5.1 多媒体数据压缩技术基础多媒体数据压缩技术基础1多媒体数据压缩的必要性多媒体数据压缩的必要性 一幅分辨率为一幅分辨率为640 480的真彩色图像的真彩色图像(24B/像素),它的数据量约为像素),它的数据量约为7.37MB。若要达到每秒若要达到每秒25帧的全动态显示
11、要求,每帧的全动态显示要求,每秒所需的数据量为秒所需的数据量为184MB,而且要求系统,而且要求系统的数据传输率必须达到的数据传输率必须达到184MB/s。 对于数字化的声音信号,若采样精度对于数字化的声音信号,若采样精度为为16bit/s样本,采样频率为样本,采样频率为44.1kHz,则双,则双声道立体声声音每秒将有声道立体声声音每秒将有176KB的数据量。的数据量。 以上例子可见,数字化信息的数据量以上例子可见,数字化信息的数据量是非常大的,对数据的存储、信息的传输是非常大的,对数据的存储、信息的传输以及计算机的运行速度都增加了极大的压以及计算机的运行速度都增加了极大的压力。力。 (1)空
12、间冗余)空间冗余(2)时间冗余)时间冗余(3)信息熵冗余)信息熵冗余(4)结构冗余)结构冗余2多媒体数据的冗余类型多媒体数据的冗余类型(5)知识冗余)知识冗余(6)视觉冗余)视觉冗余(7)听觉冗余)听觉冗余(8)其他冗余)其他冗余 压缩处理一般是由两个过程组成:一压缩处理一般是由两个过程组成:一是编码过程,即将原始数据经过编码进行是编码过程,即将原始数据经过编码进行压缩,以便存储与传输;二是解码过程,压缩,以便存储与传输;二是解码过程,此过程对编码数据进行解码,还原为可以此过程对编码数据进行解码,还原为可以使用的数据。使用的数据。3.5.2 多媒体数据压缩方法多媒体数据压缩方法 衡量一种数据压
13、缩技术的好坏有衡量一种数据压缩技术的好坏有3个重个重要的指标:一是压缩比要大,即压缩前后要的指标:一是压缩比要大,即压缩前后所需的信息存储量之比要大;二是实现压所需的信息存储量之比要大;二是实现压缩的算法要简单,压缩、解压缩速度快,缩的算法要简单,压缩、解压缩速度快,尽可能地做到实时压缩尽可能地做到实时压缩/解压缩;三是恢复解压缩;三是恢复效果要好,要尽可能地恢复原始数据。效果要好,要尽可能地恢复原始数据。 数据压缩可分为两种类型,一种叫做数据压缩可分为两种类型,一种叫做无损压缩,另一种叫做有损压缩。无损压缩,另一种叫做有损压缩。 (1)行程编码()行程编码(RLE) RLE编码是将数据流中连
14、续出现的字编码是将数据流中连续出现的字符用单一记号表示。符用单一记号表示。(2)Huffman编码编码 编码步骤如下。编码步骤如下。 概率统计(如对一幅图像或概率统计(如对一幅图像或n幅同种类幅同种类型图像作灰度信号统计),得到型图像作灰度信号统计),得到n个不同概个不同概率的信息符号。率的信息符号。1无损压缩无损压缩 将将n个信源符号按概率大小顺序排列。个信源符号按概率大小顺序排列。 将将n个概率中,最小的两个概率相加,个概率中,最小的两个概率相加,作为新符号的概率,这时概率数减为作为新符号的概率,这时概率数减为n1。 将将n1个概率,按大小重新排序。个概率,按大小重新排序。 重复重复、,直
15、到概率和等于,直到概率和等于1为止。为止。 在每次合并消息时,将被合并的消息赋在每次合并消息时,将被合并的消息赋予予1和和0或或0和和1。 寻找从概率为寻找从概率为1(码树的根)到每一信(码树的根)到每一信源符号(终结点)的路径,记录下路径上源符号(终结点)的路径,记录下路径上的的1和和0。 对每一个符号写出从码树根到终结点的对每一个符号写出从码树根到终结点的1、0序列。序列。 下面以一个具体例子说明下面以一个具体例子说明Huffman编编码过程。例如:已知信源符号及其出现的码过程。例如:已知信源符号及其出现的概率如下,求出各信源符号的概率如下,求出各信源符号的Huffman编编码表及码字平均
16、长度。码表及码字平均长度。 进行进行Huffman编码的过程如图编码的过程如图3-3所示。所示。图图3-3 Huffman编码编码 最终可得:最终可得:Huffman编码表,编码表,X1=01;X2=10;X3=11;X4=000;X5=0010;X6=0011。平均码长:平均码长:X1、X2、X3的码长为的码长为2,X4、X5和和X6的码长为的码长为3,所以平均码长为,所以平均码长为2.50。1234560.25 0.25 0.20 0.15 0.10 0.05XXXXXXX(3)算术编码)算术编码 编码步骤如下。编码步骤如下。 初始化。对二进制编码来说,信源符号初始化。对二进制编码来说,信
17、源符号只有两个只有两个0和和1。因此可预置两个参数。因此可预置两个参数Pe和和Qe。Pe代表大概率,代表大概率,Qe代表小概率,根据代表小概率,根据概率概率Pe和和Qe值,将区间值,将区间0,1分割成两个分割成两个子区间,如图子区间,如图3-4所示,所示,Qe从从0算起,则算起,则Pe=1Qe。 对被编码位流符号进行判断。如果来的对被编码位流符号进行判断。如果来的符号是符号是“0”其输出码字应落在其输出码字应落在0Q e子区子区间内,接着把此区间内的一个最短二进制间内,接着把此区间内的一个最短二进制码作为输出,作为新分子区间的边界;如码作为输出,作为新分子区间的边界;如果符号流中来的一个符号是
18、果符号流中来的一个符号是“1”,则其输,则其输出码字应落在出码字应落在Pe段,即段,即Qe1区间内。区间内。 利用最后得到的子区间的长度决定表示利用最后得到的子区间的长度决定表示该区域内的某一个数所需的位数。该区域内的某一个数所需的位数。(4)LZW编码编码 LZW(Lempel-Ziv-Welch)压缩使用)压缩使用字典库查找方案。字典库查找方案。 LZW压缩法兼有效率高,实现简单的压缩法兼有效率高,实现简单的优点,许多商品压缩软件如优点,许多商品压缩软件如ARJ、PKZIR、ZOO、LHA等都采用了此方法等都采用了此方法。 常用的有损压缩方法有:常用的有损压缩方法有:PCM(脉冲(脉冲编码
19、调制)、预测编码、变换编码、插值编码调制)、预测编码、变换编码、插值与外推等。新一代的数据压缩方法,如矢与外推等。新一代的数据压缩方法,如矢量量化和子带编码,基于模型的压缩、分量量化和子带编码,基于模型的压缩、分形压缩及小波变换等已经接近实用水平。形压缩及小波变换等已经接近实用水平。 2有损压缩有损压缩(1)预测编码)预测编码 差分脉冲编码调制(差分脉冲编码调制(DPCM) 自适应差分脉冲编码调制自适应差分脉冲编码调制 自适应量化自适应量化 自适应预测自适应预测(2)变换编码)变换编码3混合压缩混合压缩1音频信号的编码分类音频信号的编码分类 无损压缩包括不引入任何数据失真的无损压缩包括不引入任
20、何数据失真的各种熵编码;有损压缩法又可分为波形编各种熵编码;有损压缩法又可分为波形编码、参数编码和同时利用这两种技术的混码、参数编码和同时利用这两种技术的混合编码方法。合编码方法。3.5.3 音频的压缩技术音频的压缩技术(1)脉冲编码调制)脉冲编码调制PCM(Pulse Code Modulation)是一种把模拟信)是一种把模拟信号转换成数字信号的最基本的编码方号转换成数字信号的最基本的编码方法。法。 PCM方法可以按量化方式的不同,分方法可以按量化方式的不同,分为均匀量化为均匀量化PCM、瞬时压扩、瞬时压扩PCM和自适应和自适应量化量化PCM等。等。2常用的音频编码常用的音频编码 均匀量化
21、均匀量化PCM 瞬时压扩瞬时压扩PCM 自适应量化自适应量化PCM(2)其他音频编码)其他音频编码 MP3编码。编码。MP3利用利用MPEG Audio Layer 3的技术,是一种有损压缩,它是将的技术,是一种有损压缩,它是将音频信息用音频信息用1:10甚至甚至1:12的压缩率,压缩的压缩率,压缩成容量较小的数据文件。成容量较小的数据文件。 Real Audio编码。编码。Real Audio是是Real networks推出的一种音乐压缩格式,它的推出的一种音乐压缩格式,它的压缩比可达压缩比可达1:96,因此在网上比较流行。,因此在网上比较流行。1简述简述2无失真预测编码无失真预测编码3基
22、于基于DCT的有失真压缩编码的有失真压缩编码3.5.4 静态图像静态图像JPEG压缩编码技压缩编码技术术 基于离散余弦变换(基于离散余弦变换(DCT)的压缩法)的压缩法有两种不同层次的系统:基本系统和增强有两种不同层次的系统:基本系统和增强系统。并且定义了两种类型的工作方式:系统。并且定义了两种类型的工作方式:顺序方式和累进方式。累进方式又分为频顺序方式和累进方式。累进方式又分为频谱选择累进和按位逼近累进两种方式。基谱选择累进和按位逼近累进两种方式。基本系统采用顺序工作方式,编码过程中只本系统采用顺序工作方式,编码过程中只采用哈夫曼编码,解码只能存储两套哈夫采用哈夫曼编码,解码只能存储两套哈夫
23、曼表。曼表。 1简述简述 MPEG标准分成标准分成MPGE视频、视频、MPEG音频和音频和MPEG系统系统3大部分。大部分。MPEG视频是视频是面向位速率为面向位速率为1.5MB/s的视频信号的压缩;的视频信号的压缩;MPEG音频是面向通道速率为音频是面向通道速率为64KB/s、128KB/s和和192KB/s的数字音频信号的压缩;的数字音频信号的压缩;MPEG系统则要解决对音频、视频多样压系统则要解决对音频、视频多样压缩数据流的复合和同步的问题。缩数据流的复合和同步的问题。3.5.5 动态图像动态图像MPEG压缩编码技压缩编码技术术 MPEG视频压缩算法采用两个基本技视频压缩算法采用两个基本技术:运动补偿即预测编码和插补编码,变术:运动补偿即预测编码和插补编码,变换域的压缩技术。换域的压缩技术。(1)基于)基于16 16块的运动补偿。此技块的运动补偿。此技术适用于因果预测器(单纯预测编码)术适用于因果预测器(单纯预测编码)和非因果预测器(补编码),它可以和非因果预测器(补编码),它可以减少图像帧序的时域冗余度。减少图像帧序的时域冗余度。2MPEG视频压缩算法依据的基本技视频压缩算法依据的基本技术术
限制150内