多媒体通信技术第2章多媒体信息编码课件.ppt
《多媒体通信技术第2章多媒体信息编码课件.ppt》由会员分享,可在线阅读,更多相关《多媒体通信技术第2章多媒体信息编码课件.ppt(75页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第2章 多媒体信息编码 2.1 引言 2.2 基本编码方法 2.3 图像编码标准 2.4 语音编码标准 2.1 引 言 表2.1 连续媒体数据类型特征举例 媒 体 类 型 数 据 速 率 说 明 语音质量音频CD 质量音频MPEG-2 编码视频NTSC 质量视HDTV 质量视频64kb/s 1.4Mb/s 3.36Mb/s 216Mb/s 648Mb/s1个信道,8kHz 条样速率,8位量化2个信道,44.1kHz 条样速率,16位量化640*480像素/帧,24位/像素,30帧/秒640*480像素/帧,24位/像素,30帧/秒1280*720像素/帧,24位/像素,30帧/秒数 据 压 缩
2、 处 理 一 般 由 两 个 过 程 组 成:一 是 编 码 过 程,即 对 原始 数 据 进 行 编 码 压 缩,以 便 存 储 和 传 输;二 是 解 码 过 程,即 对 压缩 的 数 据 进 行 解 压,恢 复 成 可 用 的 数 据。根 据 解 压 后 数 据 的 保 真度,数 据 压 缩 技 术 可 分 为 无 损 压 缩 编 码 和 有 损 压 缩 编 码 两 大 类。无 损 压 缩 编 码 是 指 解 码 后 的 数 据 与 原 始 数 据 完 全 相 同,无 任何 偏 差。这 种 编 码 通 常 基 于 信 息 熵 原 理,常 用 的 编 码 有 哈 夫 曼 编码、算 术 编
3、码、行 程 编 码 等。它 的 压 缩 能 力 与 所 处 理 数 据 的 类型 有 关,压 缩 比 通 常 比 较 低,一 般 在2151。主 要 用 于 要 求 数据无损压缩存储和传输的场合,如传真机、文本文件传输等。有 损 压 缩 编 码 是 指 解 码 后 的 数 据 与 原 始 数 据 相 比 有 一 定 的偏 差,但 仍 可 保 持 一 定 的 视 听 质 量 和 效 果。它 主 要 利 用 人 的 视、听 觉 特 性,在 保 持 一 定 保 真 度 下 对 数 据 进 行 压 缩,其 压 缩 比 可达1001。压 缩 比 愈 高,其 解 压 缩 后 的 视、音 频 质 量 就 愈
4、 低。这 种 编 码 方 法 有 很 多 种,如 基 于 线 性 预 测 原 理 的 预 测 编 码、基于 正 交 变 换 原 理 的 正 交 变 换 编 码、基 于 向 量 量 化 原 理 的 向 量 量化 编 码、基 于 分 层 处 理 的 分 层 编 码 以 及 基 于 频 带 分 割 原 理 的 子带编码等。主要用于对音频和视频数据的压缩。多 媒 体 信 息 编 码 技 术 主 要 侧 重 于 有 损 压 缩 编 码 的 研 究。经过 多 年 的 研 究 与 开 发,已 经 出 台 了 一 系 列 有 关 的 国 际 标 准。其 中,最 著 名 的 是 国 际 标 准 组 织(ISO)
5、制 定 的JPEG 和MPEG。JPEG是 静 止 图 像 的 压 缩 标 准,其 压 缩 比 可 达401。MPEG(MPEG-1、MPEG-2 及MPEG-4)是 动 态 图 像 的 压 缩 标 准,采 用MPEG-2 标 准对NTSC 质 量 视 频 进 行 压 缩 后,网 络 带 宽 需 求 可 降 低 到3.36Mb/s。其 它 的 标 准 还 有 国 际 电 信 联 合 会(ITU)制 定 的 用 于 可 视 电 话、会议电视的H.261 和H.263;用于音频的G.711、G.721、G.728 等。2.2 基本编码方法2.2.1 行程编码行 程 编 码 是 一 种 简 单 的
6、无 损 压 缩 编 码 方 法,它 通 过 压 缩 原 始数 据 中 相 同 的 字 节 序 列 实 现 数 据 压 缩。在 图 像 和 声 音 数 据 中 可 能包 含 大 量 的 相 同 字 节 连 续 重 复 的 序 列,通 过 行 程 编 码 可 以 将 这 些重 复 字 节 压 缩 掉,取 而 代 之 的 是 一 个 更 加 紧 密 的 字 节 序 列。例 如,一 个 原 始 数 据 字 符 串 为RTTTTTTTTABBCDGHJK,采 用 行 程 编 码后 的 字 符 串 为R 8TABBCDGHJK,这 里 用 8T 替 换 掉8个T 字 符,符 号“”是 特 殊 标 识 符,
7、用 于 表 示 行 程 编 码。如 果 原 始 数 据 字符 串 也 包 含 了“”符 号,则 必 须 用 两 个“”符 号 替 换 掉 原始数据字符串中的“”符号。2.2.2 哈夫曼编码哈 夫 曼(Huffman)编 码 是 一 种 无 损 压 缩 编 码 方 法,它 根 据 信 源符 号 出 现 的 概 率 大 小 进 行 排 序,出 现 的 概 率 大 的 符 号 分 配 短 码,反 之 分 配 长 码。在 分 配 代 码 过 程 中,需 要 建 立 一 个n阶 二 叉 树,其编码过程如下:对信源符号按其出现的概率进行递减排序;将两个最小的概率相加,其和作为新符号的概率;重复和,直到概率
8、之和达到1为止;每次合并消息时,将被合并的消息赋予1和0或者0和1;寻 找 从 每 个 信 源 符 号 到 概 率 为1处 的 路 径,记 录 下 路 径 上 的1和0;从树根节点到叶子节点,对每个信源符号列出0、1序列。例 如,A、B、C、D 四 个 字 符 出 现 的 概 率 分 别 为:P(A)=3/4;P(B)=1/8;P(C)=1/16;P(D)=1/16,按 照 上 述 编 码 过 程 将 生 成 如 图2.1所 示 的 二 叉 树,获 得 的 编 码 结 果 是:H(A)=1;H(B)=01;H(C)=001;H(D)=000,该结果存放在哈夫曼表中。图2.1哈夫曼编码生成的二叉
9、树2.2.3 离散余弦变换编码 变 换 编 码 主 要 有 离 散 傅 立 叶 变 换(DFT)编 码、离 散 余 弦 变 换(DCT)编 码 等。其 中,DCT编 码 方 法 被 普 遍 使 用,在JPEG、MPEG 和H.261 等 标 准 中 都 采 用 了DCT编 码。由 于 声 音 信 号 只 有一 个 时 间 维,因 此 音 频 信 号 压 缩 采 用 一 维DCT编 码,而 图 像 压 缩必 须 考 虑 水 平 和 垂 直 两 个 方 向,因 此 图 像 压 缩 则 采 用 二 维DCT编码。DCT编 码 方 法 是 对 一 个88 图 像 块 灰 度 样 本 数 据 流 进 行
10、 压缩,而 彩 色 图 像 压 缩 可 看 成 是 压 缩 图 像 的 多 个 分 量。在 编 码 器中,首 先 将 源 图 像88 样 本 数 据 块(像 素 块)的 取 值 范 围 由 0,2p-1(无 符 号)转 换 成-2p-1,2p-1-1(有 符 号),其 中p为样 本 定 义 的 精 度。然 后 对88 样 本 数 据 块 进 行 正 向 离 散 余 弦 变换(FDCT)。在 解 码 器 中,利 用 逆 向 离 散 余 弦 变 换(IDCT)重 建88 样 本 数 据 块,恢 复 图 像。FDCT 和IDCT 的 数 学 表 达 式如(1)式和(2)式所示:式中:u,v=0 0其
11、它源 图 像88 样 本 数 据 块 实 质 上 是64点 离 散 信 号(空 间 范 围 x和y的 函 数),FDCT 将 其 变 换 成64个 正 交 基 信 号,FDCT 的 输 出是64个DCT系 数(即 基 信 号 振 幅)。在 x、y两 个 方 向 频 率 都 为零 的 系 数 叫 直 流 系 数(DC),其 余63个 系 数 是 交 流 系 数(AC)。由 于 图 像 帧 上 点 与 点 之 间 的 样 本 值 变 化 比 较 缓 慢,大 多 数 信 号集中在低频区。2.2.4 差分脉冲编码调制 图 2.2 DPCM 编解码器原理框图(a)DPCM 编码器;(b)DPCM 解码器
12、 2.2.5 运动补偿预测编码 运 动 补 偿 预 测 编 码 是 一 种 主 要 用 于 动 态 图 像 的 压 缩 的 预 测编 码。动 态 图 像 是 由 一 系 列 视 频 帧 组 成,帧 与 帧 之 间 可 能 存 在着 瞬 时 冗 余,这 种 瞬 时 冗 余 主 要 是 由 静 态 背 景 前 的 运 动 物 体 或摄 像 机 的 移 动 引 起 的。运 动 补 偿 预 测 编 码 主 要 通 过 帧 间 编 码 来压缩时间冗余信息。其基本原理如下:在视频帧序列中设置参照帧,且第1帧总是参照帧。对 于 当 前 的 编 码 帧,首 先 在 该 帧 的 前 帧 和/或 后 帧(参照帧)
13、中寻找与该帧的一个图像块相匹配的图像块。如果找到这样的块,则进行下列计算:当 前 块 的 块 亮 度 值 与 参 照 帧 中 对 应 块(称 参 照 块)的 块亮度值之间的差值信号(DPCM 码);当 前 块 相 对 于 参 照 块 在x和y两 个 方 向 上 的 运 动 向 量 值,表 示 该 块 在x和y方 向 上 的 平 移。通 过 定 义 一 个 搜 索 域 来 限 制x和y方向上的搜索范围,以降低运动信息的开销;用 差 值 信 号 和 运 动 向 量 值 来 表 示 参 照 块 与 所 预 测 块 之 间的误差,称为预测误差。这 时,只 需 对 当 前 块 的 运 动 向 量 值 和
14、 预 测 误 差 进 行 编 码,不必对当前块的图像进行编码,以压缩时间冗余信息。如 果 找 不 到 这 样 的 块,则 必 须 进 行 帧 内 编 码,即 对 当 前块的图像进行编码。运动补偿预测编码可分成下列三种方式:单 向 运 动 补 偿 预 测:只 使 用 前 参 照 帧 或 后 参 照 帧 之 一 进行预测。双 向 运 动 补 偿 预 测:使 用 前、后 两 个 帧 作 为 参 照 帧 来 计算各块的运动向量,最后只选择具有最小匹配误差的参照帧相关的运动向量值。插 值 运 动 补 偿 预 测:使 用 前 参 照 帧 和 后 参 照 帧 两 者 预 测值的平均值。这时,必须分别存储和传
15、输这两个运动向量。2.3 图像编码标准2.3.1 JPEG 标准JPEG(JointPhotographicExpertsGroup)是ISO 为 制 定 有 关静 态 图 像 压 缩 标 准 而 成 立 的 一 个 专 家 组,现 已 公 布 了JPEG 标 准,标 准 号 为ISOCD10918。JPEG 作 为 一 种 静 态 图 像 压 缩 编 码 的 国际 标 准,在 实 际 中 得 到 广 泛 的 应 用。JPEG 图 像 压 缩 技 术 具 有 如下特点:能 够 大 范 围 地 调 节 图 像 压 缩 率 及 其 相 应 的 图 像 保 真 度,解 码 器 可 参 数 化。使 用
16、 户 在 具 体 应 用 时 可 以 选 择 所 期 望 的 压 缩率/质量比。能 够 应 用 于 任 何 连 续 色 调 数 字 源 图 像(实 际 应 用 中 可 能遇 到 的 图 像 有 很 多 种,故 不 限 制 图 像 的 尺 寸、色 彩 级 差、像 素长 宽 比 等 条 件),不 限 制 图 像 的 景 象 内 容(如 复 杂 性、色 彩 范围或统计特性)。能 够 在 具 有 一 定 能 力 的CPU 上 实 现 所 要 求 的 功 能,以 利于 操 纵 复 杂 的 计 算 软 件,并 用 可 接 受 的 硬 件 成 本 实 现 具 有 高 性能要求的应用。规定了4种运行模式,以满
17、足各种需要:顺 序 编 码:按 从 左 到 右、从 上 到 下 的 顺 序 对 图 像 进 行 扫描 和 编 码。这 种 模 式 是 基 准 模 式,各 种JPEG 实 现 都 要 支 持 这 种模式。递 增 编 码:对 于 变 换 时 间 较 长 的 扫 描 器,按 由 粗 到 细 的 过程,以复合扫描顺序进行图像编码。无 损 编 码:保 证 准 确 地 恢 复 图 像 所 有 样 本 值 的 图 像 编 码。与有损模式相比,其压缩比低。分 层 编 码:以 多 种 分 辨 率 进 行 图 像 编 码,可 直 接 获 得 低 分辨率图像,重建复原全图。1.JPEG 图像模型JPEG 标 准 采
18、 用 一 种 通 用 的 图 像 模 型,能 够 适 用 大 多 数 常 用的 二 维 图 像 格 式。这 种 图 像 模 型 是 从 各 种 图 像 格 式 和 应 用 中 抽象 出 来 的,而 且 只 包 括 那 些 压 缩 和 重 构 数 字 图 像 所 必 需 的 数 据。JPEG 压 缩 数 据 格 式 没 有 提 供 关 于 表 示 完 整 图 像 的 编 码 信 息。例如,JPEG 没 有 定 义 和 编 码 任 何 有 关 像 素 尺 寸 比、色 彩 间 隔 和 图像获取特点等信息。通 常,JPEG 的 一 帧 源 图 像 包 含 有1255 个 图 像 成 分,称 为 颜色
19、平 面 或 组 元。每 个 组 元 是 一 个 样 本 点 矩 阵,样 本 定 义 的 精 度 为p位,取 值 范 围 是 0,2p-1,所 有 成 分 的 所 有 样 本 点 精 度 都 是 同一 个p。对 基 于DCT的Codec,p取8或12;对 基 于DPCM 的Codec,p取216。每 个 平 面 沿 水 平 和 垂 直 方 向 的 像 素 数 可 能 是 不 同 的,但 必须 使 用 同 样 多 的 位 数 对 所 有 平 面 的 所 有 像 素 进 行 编 码。例 如,颜 色 平 面 可 以 分 配 给 RGB(红、绿、蓝)三 色,也 可 以 分 配 给YUV(一个亮度和两个色
20、度),各种模型都定义自己的精度。灰 度 图 一 般 由 一 个 组 元 构 成;GB 彩 图 有 三 个 等 分 辨 率 的 组元;YUV 彩 图 通 常 对 图 的 色 度 组 元 衰 减 采 样,以 减 少 存 储 量。例 如,采 用411形 式,色 度 的 水 平 和 垂 直 分 辨 率 组 元 只 是 亮 度的 一 半。这 主 要 基 于 如 下 事 实:人 的 视 觉 对 亮 度 组 元 十 分 敏 感,对色度组元的敏感性较低。图2.3像素块和“之”字形处理顺序(a)8 像素块;(b)“之”字形顺序2.JPEG 编码方法 图2.4DCT编码和解码过程(a)DCT编码过程;(b)DCT
21、解码过程在 编 码 器 中,首 先 由FDCT 对 源 图 像88 样 本 数 据 块 进 行 正 向离 散 余 弦 变 换,FDCT 将 输 出64个DCT系 数,其 中1个 是 直 流 系 数(DC),其余63个是交流系数(AC)。量 化 器 对FDCT 输 出 的 每 个DCT系 数 进 行 量 化 处 理。量 化 的目 的 是 去 除 那 些 无 显 著 视 觉 意 义 的 高 频 信 息。在 量 化 时,每 个DCT系 数 与 量 化 表 中 的64个 元 素 进 行 舍 取 运 算。量 化 表 是 由 开 发者指定并输入到编码器中。量化计算公式如下:经 过 量 化 处 理 后,DC
22、 系 数 从63个AC 系 数 中 分 离 出 来 进 行 单独 处 理,因 为DC 系 数 代 表 了 相 当 一 部 分 图 像 信 息。所 有 的 量 化 系数 按“之”字 形 顺 序 排 列,低 频 系 数 将 排 在 高 频 系 数 之 前,以 利于实现熵编码。在 熵 编 码 处 理 之 前,先 对DC 系 数 进 行DPCM 编 码,对AC 系 数进 行 行 程 编 码。由 于 大 多 数AC 系 数 都 为 零,只 有 少 数 不 为 零,行程 编 码 将 压 缩AC 系 数 中 零 值 序 列,对 非 零 系 数 进 行 有 效 编 码。行 程 编 码 分 为 两 步 处 理:
23、先 将 量 化 的DCT系 数 转 换 成 中 间 符 号 序列,再向符号分配可变长代码。中 间 符 号 序 列 是 一 种 双 符 号 序 列。对 于AC 系 数,符 号1表 示两 部 分 信 息:行 程 和 位 长,行 程 取 值 为015,位 长 取 值010;符 号2表 示 振 幅 信 息,即 非 零 系 数 大 小。对 于DC 系 数,符 号1表 示 位 长信 息,符 号2表 示 振 幅 信 息。由 于DC 系 数 有 别 于AC 系 数,故 它 的符 号1取 值 范 围 是111。为 其 分 配 的 代 码 是 可 变 长 的,以 便 于 使用熵编码进行压缩处理。熵 编 码 是 按
24、DCT系 数 的 统 计 特 征 对 量 化 系 数 进 一 步 编 码,实现 无 损 压 缩。JPEG 规 定 了 两 种 熵 编 码 方 法:哈 夫 曼 编 码 和 算 术 编码。对 于 哈 夫 曼 编 码 所 需 的 哈 夫 曼 表,JPEG 标 准 没 有 作 具 体 规定,这由开发者根据应用需要来决定。JPEG 还 要 对 成 分 所 用 的 表 进 行 控 制,以 保 证 将 适 当 的 表 用于 适 当 的 成 分。对 一 个 成 分 中 所 有 样 本 进 行 编 码 时,必 须 使 用同 一 个 量 化 表 和 同 一 套 熵 编 码 表。JPEG 解 码 器 同 时 存 放
25、4个 不同 的 量 化 表 和4套 不 同 的 熵 编 码 表(顺 序 扫 描 解 码 器 例 外,它 只能 存 放2套 熵 编 码 表),这 对 解 码 时 为 多 成 分 图 像 切 换 不 同 的 适用表来说是必要的。与 上 述 编 码 过 程 相 反,在 解 码 处 理 过 程 中 首 先 是 熵 解 码 过 程,然 后 是 解 量 化 过 程,它 是 将 量 化 函 数 值 乘 以 步 长,其 结 果 作 为IDCT 的 输 入 量,最 后 执 行IDCT,重 建88 样 本 数 据 块,形 成 重 建图像。JPEG 标 准 对 数 据 压 缩 和 图 像 质 量 的 关 系 进 行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 通信 技术 多媒体信息 编码 课件
限制150内