无失真和限失真信源编码.pptx
《无失真和限失真信源编码.pptx》由会员分享,可在线阅读,更多相关《无失真和限失真信源编码.pptx(66页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、15.2 5.2 无失真信源编码 Yk平均每个符号的最大信息量为log m,KL长码字的最大信息量为KLlog m。用该码字表示L长的信源序列,则传送一个信源符号需要的信息率平均为 M为Y所能编成的码字的个数第1页/共66页25.2 5.2 无失真信源编码信息率最小:就是找到一种编码方式使 最小。无失真信源编码定理研究的内容:最小信息率为多少时,才能得到无失真的译码?若小于这个信息率是否还能无失真地译码。第2页/共66页35.2 5.2 无失真信源编码无失真的信源编码定理定长编码定理变长编码定理 K是定值 且惟一可译码 编码的目的:寻找最小K K值。第3页/共66页45.2.1 5.2.1 定
2、长编码定理 由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2XlXL,可用KL个符号Y1,Y2,Yk,YKL(每个符号有m种可能值)进行定长编码。对任意 0,0,只要 则当L足够大时,必可使译码差错小于;反之,当 时,译码差错一定是有限值,而L足够大时,译码几乎必定出错。第4页/共66页55.2.1 5.2.1 定长编码定理定长编码定理说明:码字所能携带的信息量大于信源序列输出的信息量,则可以使传输几乎无失真,当然条件是L L足够大。第5页/共66页65.2.1 5.2.1 定长编码定理反之,当 时,不可能构成无失真的编码,也就是不可能做一种编码器,能使收端译码时差错
3、概率趋于零。时,则为临界状态,可能无失真,也可能有失真。第6页/共66页75.2.1 5.2.1 定长编码定理例:信源有8种等概率符号,L=1,信源序列熵达到最大值,H(x)=3bit/符号,即K=3bit/符号=H(x).当信源符号输出概率不相等时,若p(ai)=0.4,0.18,0.1,0.1,0.07,0.06,0.05,0.04,则H(x)=2.55bit/符号用22.55=5.856种可能的码字第7页/共66页85.2.1 5.2.1 定长编码定理 在这种编码方式下,若差错概率为Pe,据切比雪夫不等式可导出第8页/共66页95.2.1 5.2.1 定长编码定理式中 为自信息方差,为一
4、正数。当 和 均为定值时,只要L足够大,Pe可以小于任一正数。即,在这种编码方式下,若差错概率为Pe,据切比雪夫不等式可导出第9页/共66页105.2.1 5.2.1 定长编码定理当信源序列长度L满足 时,能达到差错率要求 第10页/共66页115.2.1 5.2.1 定长编码定理 在连续信源的情况下,由于信源的信息量趋于无限,显然不能用离散符号序列Y来完成无失真编码,而只能进行限失真编码。第11页/共66页125.2.1 5.2.1 定长编码定理定义为编码效率,即信源的平均符号熵为H(X),采用平均符号码长为 来编码,所得的效率。编码效率总是小于1,且最佳编码效率为 第12页/共66页135
5、.2.1 5.2.1 定长编码定理 编码定理从理论上阐明了编码效率接近1的理想编码器的存在性,它使输出符号的信息率与信源熵之比接近于1,即 L取无限长第13页/共66页145.2.1 5.2.1 定长编码定理例1设离散无记忆信源概率空间为 比特/符号 第14页/共66页155.2.1 5.2.1 定长编码定理 对信源符号采用定长二元编码,要求编码效率为 90,若取L1,则可算出2.55 90%=2.8比特/符号Pe0.04 太大第15页/共66页165.2.1 5.2.1 定长编码定理若要求译码错误概率 第16页/共66页175.2.2 5.2.2 变长编码定理变长编码定理在变长编码中,码长K
6、是变化的 根据信源各个符号的统计特性,如概率大的符号用短码,概率小的用较长的码,使得编码后平均码长降低,从而提高编码效率。(统计匹配)第17页/共66页185.2.2 5.2.2 变长编码定理单个符号变长编码定理:若离散无记忆信源的符号熵为H(X),每个信源符号用m进制码元进行变长编码,一定存在一种无失真编码方法,其码字平均长度满足下列不等式第18页/共66页195.2.2 5.2.2 变长编码定理 离散平稳无记忆序列变长编码定理:对于平均符号熵为HL(X)的离散平稳无记忆信源,必存在一种无失真编码方法,使平均信息率满足不等式其中 为任意小正数。第19页/共66页205.2.2 5.2.2 变
7、长编码定理 用变长编码来达到相当高的编码效率,一般所要求的符号长度L可以比定长编码小得多。编码效率的下界:第20页/共66页215.2.2 5.2.2 变长编码定理 编码效率总是小于1 1,可以用它来衡量各种编码方法的优劣。为了衡量各种编码方法与最佳码的差距,定义码的剩余度为 第21页/共66页225.2.2 5.2.2 变长编码定理例2设离散无记忆信源的概率空间为第22页/共66页235.2.2 5.2.2 变长编码定理 若用二元定长编码(0,1)来构造一个即时码:。平均码长 1二元码符号/信源符号输出的信息效率为R0.811比特/二元码符号编码效率为第23页/共66页245.2.2 5.2
8、.2 变长编码定理例3.长度为2的信源序列进行变长编码(编码方法后面介绍),其即时码如下表 aip(ai)即时码a1a19/160a1a23/1610a2a13/16110a2a21/16111第24页/共66页255.2.2 5.2.2 变长编码定理二元码符号/信源序列二元码符号/信源符号编码效率信息效率R20.961比特/二元码符号 第25页/共66页265.2.2 5.2.2 变长编码定理L3 R30.985比特/二元码符号 L4 R40.991比特/二元码符号 第26页/共66页275.2.2 5.2.2 变长编码定理 若对这个信源采用定长二元码编码,要求编码效率达到96时,允许译码错
9、误概率 第27页/共66页285.2.3 5.2.3 最佳变长编码最佳变长编码 凡是能载荷一定的信息量,且码字的平均长度最短,可分离的变长码的码字集合称为最佳变长码。第28页/共66页295.2.3 5.2.3 最佳变长编码能获得最佳码的编码方法主要有:香农(Shannon)费诺(Fano)哈夫曼(Huffman)等 第29页/共66页305.2.3 5.2.3 最佳变长编码一、香农(Shannon)编码1、将信源消息符号按其出现的概率大小依次排列2、确定满足下列不等式的整数码长Ki。第30页/共66页315.2.3 5.2.3 最佳变长编码3.为了编成唯一可译码,计算第i个消息的累加概率4.
10、将累加概率Pi变换成二进制数。5.取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。第31页/共66页325.2.3 5.2.3 最佳变长编码信源消息信源消息符号符号ai符号概符号概率率(ai)累加概累加概率率Pi-log p(ai)码字长码字长度度Ki码字码字a10.2002.323000a20.190.22.393001a30.180.392.473011a40.170.572.563100a50.150.742.743101a60.100.893.3241110a70.010.996.6471111110例4 设信源共7个符号消息,其概率和累加概率如下表所示。第32页/共66页33
11、5.2.3 5.2.3 最佳变长编码设以i=4为例,求得第33页/共66页345.2.3 5.2.3 最佳变长编码码元/符号比特/码元 信源符号的平均码长为平均信息传输率为第34页/共66页355.2.3 5.2.3 最佳变长编码例5 设信源有3个符号,概率分布为(0.5,0.4,0.1),写出其香农编码。解:由于p1=0.5,p2=0.4,p3=0.1 由 得 K1=1,K2=2,K3=4 累加概率为P1=0,P2=0.5,P3=0.9第35页/共66页365.2.3 5.2.3 最佳变长编码(0)10=(0)2,(0.5)10=(0.10)2(0.9)10=(0.1110)2,010101
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 失真 信源 编码
限制150内