网络多媒体技术复习网络多媒体复习.pptx

网络多媒体技术复习第第1章章 多媒体信息处理基础多媒体信息处理基础位图文件图像分辨率：分辨率越高，表示组成一幅图的像素就越多，图像文件就越大像素深度：像素深度越深，表达单个像素的颜色和亮度的位数越多，图像文件就越大 灰度图像:只有明暗不同的像素而没有彩色像素组成的图像。灰度值级数就等于256级，每个像素可以是0255之间的任何一个值彩色图像：每个像素的R、G和B值用一个字节来表示1位：黑白；8位：灰阶；8位：256色；24位：真彩；30/36/48位：全彩音频数字化实际上就是对模拟信号进行采样、量化和编码色调反映彩色的类别，例如红、橙、黄、绿、青、蓝、紫等不同颜色。发光物体的色调由光的波长决定，色饱和度反映彩色光的深浅程度在RGB模型中，颜色空间里所有的颜色都是由R、G、B(红、绿、蓝)三种光依不同的比例相加而成；相加混色。在CMY颜色模型中，颜色空间由青（Cyan）、品红（Magenta）和黄（Yellow）这三种基色按不同的比例混合而成，相减混色。图像采样就是对图像在水平方向和垂直方向上进行等间隔的采样，将二维空间上模拟的连续亮度（即灰度）或彩色信息，转化为一系列有限的离散数值来表示一幅图像在采样时，行、列的采样点与量化时每个像素量化的级数，既影响数字图像的质量，也影响到该数字图像数据量的大小。假定图像取MN个采样点，每个像素量化后的灰度二进制位数为Q，一般Q总是取为2的整数幂，即Q=2k,则存储一幅数字图像所需的字节数B为 第第2章章 图像增强图像增强灰度直方图灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中每种灰度级出现的概率1.统计原始图像的直方图：其中，是归一化的输入图像灰度级。2.计算直方图累积分布曲线3.用累积分布函数作变换函数进行图像灰度变换：根据计算得到的累积分布函数，建立输入图像与输出图像灰度级之间的对应关系，即重新定位累计分布函数 （与归一化灰度等级 比较，寻找最接近的一个作为原灰度级k变换后的新灰度级）。直方图均衡化的实现步骤邻域平均法模板操作实现了一种邻域运算，即某个像素点的运算结果不仅与本像素灰度有关，而且与其邻域点的值有关。模板操作的数学含义是卷积（或互相关）运算。邻域平均法是一种局部空间域处理的算法。基本思想：用邻域像素灰度的平均值代替每个像素的灰度值。l优点：算法简单，计算速度快。l缺点：在降低噪声的同时容易模糊图像边沿和细节处。中值滤波 中值滤波是对一个滑动窗口内的诸像素灰度值排序，用中值代替窗口中心像素的原来灰度值，因此它是一种非线性的图像平滑法。中值滤波的依据：噪声以孤立点的形式出现，这些点对应的像素数很少，而图像则是由像素数较多、面积较大的块构成。中值滤波的目的就是要把这些孤立的点去除掉。中值滤波方法：选一个含有奇数点的窗口W，将这个窗口在图像上移动，把该窗口中所含的像素点按灰度值进行升（或降）序排列，取位于中间的灰度值，来代替该点的灰度值。将原图像中所有的像素点都执行上述操作后就得到中值滤波的结果图像。例：有一个序列为0,3,4,0,7，当窗口m5时试求出采用中值滤波的结果。解：该序列重新排列后为0,0,3,4,7则中值滤波的结果 M0,0,3,4,7=3中值滤波低通滤波器理想低通滤波器以D0为半径的圆内所有频率分量无损的通过，圆外的所有频率分量完全衰减。由于高频成分包含有大量的边缘信息，因此，采用该滤波器在去噪声的同时将会导致边缘信息损失而使图像边模糊。Butterworth低通滤波器特性是连续性衰减在抑制噪声的同时，图像边缘的模糊程度大大减小，没有振铃效应产生高斯低通滤波器高斯低通滤波器的傅立叶反变换也是高斯的，这意味着反变换后高斯滤波器将没有振铃现象产生 图像锐化图像变模糊原因：成像系统聚焦不好或者信道过窄平均或积分运算使目标物轮廓变模糊，细节轮廓不清楚目的：加重目标物轮廓，使图像变清楚单方向的一阶锐化是指对某个特定方向上的边缘信息进行增强。水平方向的一阶锐化12321212623087612786232690 0 0 000-3-13-2000-6-13-1300 1 12 500 0 0 001*1+2*2+1*3-1*3-2*0-1*8=-3垂直方向的一阶锐化12321212623087612786232690 0 0 000-7-17 400-16-25 500-17-22-300 0 0 001*1+2*2+1*3-1*3-2*2-1*8=-7拉普拉斯算子拉普拉斯算子 可见，数字图像在（i,j）点的拉普拉斯算子，可以由（i,j）点灰度值减去该点邻域平均灰度值来求得。0101-4 1010高通滤波图像中的边缘或线条等细节部分与图像频谱的高频分量相对应。采用高通滤波使图像的边缘或线条等细节变得清楚，实现图像的锐化。第第3章章 形态学图像处理形态学图像处理数学形态学的基本概念数学形态学是用集合论方法定量描述集合结构的学科，它包括一组基本的形态学算子（膨胀、腐蚀、开、闭等）及其组合数学形态学的基本概念二值图像的逻辑运算对于二值图像而言，习惯上认为取值为1的点对应于景物（前景），而取值为0的点构成背景二二值值图图像像的的逻辑运算逻辑运算1表表示示黑黑色色，0表示白色表示白色二值形态学的基本运算膨胀膨胀膨胀膨胀应用：连接图像中的邻近目标二值形态学的基本运算腐蚀腐蚀的应用去掉小于结构元素的物体如果两个物体之间有细小的连通，当结构元素足够大时，可以将物体分开开操作（opening）先腐蚀，后膨胀作用消除细小对象在细小粘连处分离对象在不明显改变形状的前提下，平滑对象的边缘二值形态学的基本运算开操作开操作二值形态学的基本运算闭操作闭操作（closing）先膨胀、后腐蚀作用填充对象内细小空洞连接邻近对象在不明显改变面积的前提下，平滑对象边缘开操作和闭操作的应用：先开操作再闭操作，构成噪声滤波器第第4章章 图像分割图像分割图像分割计算机处理图像的两个目的产生更适合人观察和识别的图像由计算机自动识别和理解图像图像分割是图像识别和图像理解的基础知识库知识库表示与描述表示与描述预处理预处理分割分割低级处理低级处理高级处理高级处理中级处理中级处理识别识别与与解释解释结果结果图像获取图像获取问题问题图像分割的定义图像分割是把图像分割成互不交叠的有意义区域，以便进一步的分析，分开的区域一般是图像中我们感兴趣的目标图像分割是基于目标或区域的特征进行的图像分割算法一般是基于亮度值的不连续性和相似性图像分割的目的把图像分解成构成它的部件和对象；有选择性地定位感兴趣对象在图像中的位置和范围。4.图像分割的方法1)基于边缘的分割方法:先提取区域边界，再确定边界限定的区域。2)区域分割:确定每个像素的归属区域，从而形成一个区域图。3)区域生长:将属性接近的连通像素聚集成区域。4)分裂合并分割:综合利用前两种方法，既存在图像的划分，又有图像的合并。间断检测间断检测是基于图像像素灰度值的不连续性进行图像分割点检测线检测边界检测寻找间断最一般的方法是模板检测间断检测点检测线检测-1-1-1222-1-1-1水平模板水平模板-1-12-12-12-1-14545度模板度模板-12-1-12-1-12-1垂直模板垂直模板2-1-1-12-1-1-12-45-45度模板度模板间断检测边缘是位于两个区域的边界线上的相连像素的集合边缘可以通过计算局部微分算子来检测一阶导数：通过梯度来计算二阶导数：通过拉普拉斯算子来计算第第5章章 数字图像与视频压缩编码数字图像与视频压缩编码数据压缩的理论基础是信息论。从信息论的角度来看，压缩就是去掉数据中的冗余，即保留不确定的信息，去掉确定的信息（可推知的），也就是用一种更接近信息本质的描述来代替原有冗余的描述。在一般的图像和视频数据中，主要存在空间冗余，时间冗余，统计冗余，结构冗余，知识冗余以及人眼的视觉冗余无失真编码熵编码是纯粹基于信号统计特性的一种编码方法，它利用信源概率分布的不均匀性，通过变长编码来减少信源数据冗余，解码后还原的数据与压缩编码前的原始数据完全相同而不引入任何失真游程编码 二值图像是指图像中的像素值只有两种取值，即“0”和“1”，因而在图像中这些符号会连续地出现，我们通常将连“0”这一段称为“0”游程，而连“1”的一段则称为“1”游程，它们的长度分别表示为L(0)和L(1)，往往“0”游程与“1”游程会交替出现，即第一游程为“0”游程。第二游程为“1”游程。第三游程又为“0”游程。下面我们以一个具体的二值序列为例进行说明。已知一个二值序列，根据游程编码规则，可知其游程序列为21133121。Huffman编码过程1.把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。在分配码字的长度时，首先将出现概率最小的两个符号的概率相加，合成一个概率；第二步把这个合成概率看成是一个新组合符号的概率，重复上述操作，直到最后只剩下两个符号的概率为止。2.完成以上概率相加顺序排列后，再反过来逐步向前进行编码，每一步有两个分支，各赋予一个二进制码，可以对概率大的编码赋予0，概率小的编码赋予1。反之，也可以对概率大的编码赋予1，概率小的编码赋予0。n例例2：信源的符号的概率严重不对称：信源的符号的概率严重不对称：nA=a,b,c,P(a)=0.95,P(b)=0.02,P(c)=0.03nH=0.335 bits/symbolnHuffman编码：编码：a0b11c10nl=1.05 bits/symboln冗余（冗余（Redundancy）=l-H=0.715 bits/sym(213%!)算术编码基本原理：将被编码的信息表示成0和1之间的间隔。信息越长，则编码表示它的间隔就越小，表示这一间隔所需的二进制位就越多。算术编码是一种非分组编码，它用一个浮点数值表示整个信源符号序列。算术编码将被编码的信源符号序列表示成实数半开区间0，1）中的一个数值间隔算术编码首先假设一个概率模型，然后用这些概率来缩小表示信源集的区间。在算术编码的初始阶段，可设置两个专用寄存器C和A来存储符号到来之前子区间的状态参数，令寄存器C的值为子区间的起始位置，寄存器A的值为子区间的宽度，该宽度恰好是已输入符号串的概率。再设L和H分别为编码字符的初始编码区间的低端和高端值初始时，C=0，A=1。当新的符号到来时，CC+AL，A A(HL)。算术编码的结果落在子区间C，C+A）之内 例：假设信源符号为00，01，10，11，这些符号的概率分别为0.1，0.4，0.2，0.3。根据这些概率，可把间隔0，1）分成4个子间隔：0，0.1），0.1，0.5），0.5，0.7）和0.7，1）。如果二进制消息序列的输入为10 00 11 00 10 11 01，则（1）首先输入的符号是10，其编码范围是0.5，0.7)，即L=0.5，H=0.7。因此C=0+10.5=0.5，A=10.2=0.2。（2）由于消息中第二个符号00的编码范围是0，0.1），因此C=0.5+0.20=0.5，A=0.20.1=0.02。（3）第3个符号11的编码范围是0.7，1，因此C=0.5+0.020.7=0.514，A=0.020.3=0.006。依此类推，编码第4个符号00时，C=0.514+0.0060=0.514，A=0.0060.1=0.0006，消息的编码输出可以是最后一个间隔中的任意数。限失真编码限失真编码方法利用了人类视觉的感知特性，允许压缩过程中损失一部分信息，虽然在解码时不能完全恢复原始数据，但是如果把失真控制在视觉阈值以下或控制在可容忍的限度内，则不影响人们对图像的理解，却换来了高压缩比。第第9章章 数字水印技术数字水印技术数字水印数字水印是永久镶嵌在其他数据(宿主数据)中具有可鉴别性的的数字信号或模式，而且并不影响宿主数据的可用性数字水印应具有如下的基本特征:不可感知性，水印容量，鲁棒性，可证明性，安全性数字水印的组成数字水印技术包括水印的嵌入和水印检测/提取两个过程。嵌入阶段的设计主要解决两个问题：数字水印的生成，可以是一串伪随机数，也可以是与作者有关的字符串、图标等信息经过加密产生；嵌入算法，嵌入方案的目标是使数字水印在不可见性和鲁棒性之间找到一个较好的折中。换句话说就是使用嵌入算法E把水印信号W嵌入到原始产品I中 检测阶段主要是设计一个相应于嵌入过程的检测算法。检测的结果或是原水印（如字符串或图标等），或是基于统计原理的检验结果以判断水印存在与否。检测方案的目标是使错判与漏判的概率尽量小。第第10章章 基于内容的多媒体信息检基于内容的多媒体信息检索索基于内容检索技术基于内容的检索提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。常用的媒体特征：图像：颜色、纹理、形状及空间关系等 视频：镜头、场景、镜头的运动等 音频：时域、频域、时频特征等基于内容的图像检索（CBIR）技术涉及图像特征的提取、分析及匹配三个模块。基于内容的视频检索，是指自动提取并描述视频的特征和内容，根据视频内容的上下文关系，对大规模视频数据库中的视频数据进行检索。基于内容的音频检索，是指通过分析音频内容的特征和上下文联系，从音频数据库中找出满足用户需要的音频，分为表示级检索和语义级检索