信息论 第五章PPT讲稿.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《信息论 第五章PPT讲稿.ppt》由会员分享,可在线阅读,更多相关《信息论 第五章PPT讲稿.ppt(65页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、信息论 第五章第1页,共65页,编辑于2022年,星期四1、信源编码的目的、信源编码的目的在不失真或允许一定失真条件下,如何在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以用尽可能少的符号来传送信源信息,以便提高信息传输率。便提高信息传输率。2、信道编码的目的、信道编码的目的在信道受干扰的情况下,如何增加信在信道受干扰的情况下,如何增加信号的抗干扰能力,同时又使得信息传号的抗干扰能力,同时又使得信息传输率最大。输率最大。第2页,共65页,编辑于2022年,星期四5.1 编编 码码 器器5.1.1 5.1.1 编码器的构成编码器的构成5.1.2 5.1.2 有关常用码的概念有
2、关常用码的概念第3页,共65页,编辑于2022年,星期四5.1.1 5.1.1 编码器的构成编码器的构成编码器编码器S:信源符号信源符号码符号,或码元码符号,或码元编码实质上是对信源的原始符号按一定的编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。数学规则进行的一种变换。码字长度或码长码字长度或码长C码字码字第4页,共65页,编辑于2022年,星期四(信源符号信源符号)(信源序列信源序列)码字由码元组成码字由码元组成码码C由码字由码字组成组成编码就是从信源符号编码就是从信源符号到码字到码字的的一种映射,一一对应,可逆,则可实现一种映射,一一对应,可逆,则可实现无失真编码。无失真编码
3、。第5页,共65页,编辑于2022年,星期四5.1.2 5.1.2 有关常用码的概念有关常用码的概念1、二元码、二元码码符号集为码符号集为,所得码字,所得码字是二元序列。是二元序列。2、等长码、等长码一组码中所有码字的码长都相同。一组码中所有码字的码长都相同。3、变长码、变长码一组码中所有码字的码长各不相同。一组码中所有码字的码长各不相同。第6页,共65页,编辑于2022年,星期四4、非奇异码、非奇异码C一组码中所有码字都不相同。一组码中所有码字都不相同。即即5、奇异码、奇异码C一组码中有相同的码字。一组码中有相同的码字。即即6、同价码、同价码码符号集码符号集中每个码符号中每个码符号所占的传输
4、时间都相同。所占的传输时间都相同。一般二元码是同价码。一般二元码是同价码。第7页,共65页,编辑于2022年,星期四对于同价码,等长码中每个码字的传输时对于同价码,等长码中每个码字的传输时间都相同,变长码每个码字的传输时间就间都相同,变长码每个码字的传输时间就不一定相同。不一定相同。7、码的、码的N次扩展码次扩展码N次扩展信源对应的次扩展信源对应的N个码字组成的码字序个码字组成的码字序列的集合。列的集合。N次扩展码次扩展码 B第8页,共65页,编辑于2022年,星期四举例举例信源信源符号的码和二次扩展码的形式符号的码和二次扩展码的形式信源符号si符号概率P(si)码1码2s1P(s1)000s
5、2P(s2)0101s3P(s3)10001s4P(s4)11111表表5.1等长码变长码非奇异码第9页,共65页,编辑于2022年,星期四表表5.2码码2的二次扩展码的二次扩展码信源符号扩展码字信源符号扩展码字信源信源S的二次扩展信源的二次扩展信源信源信源S的二次扩展码的二次扩展码第10页,共65页,编辑于2022年,星期四8、唯一可译码、唯一可译码码的任意一串有限长的码符号序列只能被码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列,则此唯一地译成所对应的信源符号序列,则此码称码称唯一可译码唯一可译码或或单单译译可可译码译码。(1)信源符号对应的码是非奇异码。信源符号对应的
6、码是非奇异码。(2)任意有限长的任意有限长的N次扩展码是非奇异的。次扩展码是非奇异的。例:码符号序列例:码符号序列“0010”“0010”第11页,共65页,编辑于2022年,星期四5.2 等等 长长 码码5.2.1 5.2.1 等长码的唯一可译性等长码的唯一可译性5.2.2 5.2.2 等长码的编码长度等长码的编码长度第12页,共65页,编辑于2022年,星期四5.2.1 5.2.1 等长码的唯一可译性等长码的唯一可译性若等长码是非奇异码,则它的任意有限长若等长码是非奇异码,则它的任意有限长N次扩展码一定也是非奇异码,因此一定次扩展码一定也是非奇异码,因此一定是唯一可译码。是唯一可译码。信源
7、符号si符号概率P(si)码1码2s1P(s1)0000s2P(s2)0111s3P(s3)1010s4P(s4)1111表表5.3唯一可译码非唯一可译码第13页,共65页,编辑于2022年,星期四5.2.2 5.2.2 等长码的编码长度等长码的编码长度1、q个信源符号:个信源符号:码元数为码元数为r:则码长则码长必须满足下式必须满足下式例例:(1)(2)(表(表4.2)必要条件必要条件第14页,共65页,编辑于2022年,星期四个信源符号:个信源符号:可得到等长非奇异码可得到等长非奇异码取对数:取对数:当当N=1时时是平均每个信源符号所需要的码符号个数是平均每个信源符号所需要的码符号个数2、
8、对、对N次扩展信源编码次扩展信源编码第15页,共65页,编辑于2022年,星期四3、等长码的码长仍可压缩、等长码的码长仍可压缩考虑符号出现的概率和符号间的依赖关系,码长可考虑符号出现的概率和符号间的依赖关系,码长可压缩。压缩。例:例:其余其余且且二次扩展信源二次扩展信源有有个符号个符号,压缩至压缩至4个符号个符号,编码编码即可即可.第16页,共65页,编辑于2022年,星期四结论结论:考虑信源符号间的依赖关系后考虑信源符号间的依赖关系后,再考虑符号出现的概率时再考虑符号出现的概率时,所需平所需平均码长可能缩短均码长可能缩短.第17页,共65页,编辑于2022年,星期四5.3*渐进等分割性和渐进
9、等分割性和 典型序列典型序列 对于离散无记忆信源对于离散无记忆信源 N次扩展信源次扩展信源第18页,共65页,编辑于2022年,星期四当当为有限值时为有限值时,第19页,共65页,编辑于2022年,星期四弱大数定律弱大数定律对于独立、等同分布的随机变量对于独立、等同分布的随机变量,只要,只要n 足够大时,足够大时,接近其数学期望接近其数学期望EX。第20页,共65页,编辑于2022年,星期四定理定理5.1渐进等分割性渐进等分割性(AEP):若若随机序列中随机序列中相互统计独立并且服从同一概率分布相互统计独立并且服从同一概率分布,又又,则,则依概率收敛依概率收敛于于。第21页,共65页,编辑于2
10、022年,星期四可表示成可表示成,对于任意对于任意弱大数定律弱大数定律:第22页,共65页,编辑于2022年,星期四此渐近等分割性说明此渐近等分割性说明,离散无记忆信离散无记忆信源的源的N次扩展信源中次扩展信源中,信源序列信源序列的自信息的均值的自信息的均值,依概率,依概率收敛于信源熵收敛于信源熵。当当N为有限长时为有限长时,在所有在所有个长为个长为N的的信源序列中必有一些信源序列中必有一些,其自信息其自信息量的均值与信源熵量的均值与信源熵之差小于之差小于,即即:或或称称N长序列长序列为为典型序列典型序列.第23页,共65页,编辑于2022年,星期四中所有中所有典型序列典型序列的集合表的集合表
11、示为示为非非典型序列集典型序列集第24页,共65页,编辑于2022年,星期四(2)若若,则,则(3)设设表示表示典型序列集典型序列集中包含中包含的的典型序列的个数,典型序列的个数,定理定理5.2:对于任意小的正数对于任意小的正数当当N足够大时,则足够大时,则(1)第25页,共65页,编辑于2022年,星期四而而显然显然证明证明:(1)可由定理可由定理5.1直接推得直接推得当当时,时,契比雪夫不等式契比雪夫不等式当当依概率收敛于依概率收敛于第26页,共65页,编辑于2022年,星期四(2)可由可由变形证得。变形证得。推论:推论:当当N足够大时,足够大时,可任意小,可任意小,表明表明典型序列出现的
12、概率近似相等,典型序列出现的概率近似相等,所以称为所以称为渐进等概率序列渐进等概率序列。(3)由上述性质由上述性质(2)证得。证得。第27页,共65页,编辑于2022年,星期四性质性质(1)表明表明,典型序列典型序列是经常是经常出现的信源序列。出现的信源序列。时,成为必时,成为必然事件。然事件。性质性质(2)表明表明接近等概分布接近等概分布性质性质(3)表明表明当当时时,典型序列的总数占信源序列的比值为:典型序列的总数占信源序列的比值为:一般一般所以,当所以,当第28页,共65页,编辑于2022年,星期四是高概率集,它含有序列数是高概率集,它含有序列数常常比非典型序列数要少很多。常常比非典型序
13、列数要少很多。所有信源序列所有信源序列非非典型序列集典型序列集典型序列集典型序列集结论:结论:只对少数的高概率只对少数的高概率典型序列进典型序列进行一一对应的等长编码。码字总数减少,行一一对应的等长编码。码字总数减少,所需码长就可以减少了。所需码长就可以减少了。第29页,共65页,编辑于2022年,星期四AEP结论:结论:当当N足够大时足够大时1.所有所有 典型序列出现的概率近似相典型序列出现的概率近似相 等等.2.可粗略认为可粗略认为 典型序列出现的概率为典型序列出现的概率为3.所有所有 典型序列的概率和接近为典型序列的概率和接近为1,第30页,共65页,编辑于2022年,星期四5.4 等长
14、信源编码定理等长信源编码定理5.4.1 5.4.1 等长信源编码定理等长信源编码定理 5.4.2 5.4.2 平稳有记忆信源的码长平稳有记忆信源的码长5.4.3 5.4.3 对于编码好坏的评价对于编码好坏的评价第31页,共65页,编辑于2022年,星期四5.4.1 5.4.1 等长信源编码定理等长信源编码定理 定理定理5.35.31、定理内容:、定理内容:一个离散无记忆信源,熵为一个离散无记忆信源,熵为 ,信,信源长为源长为N,码符号,码符号 r个,码字个,码字 长,对长,对于任意于任意 ,只要满足,只要满足则当则当N足够大时,可实现几乎无失真编码。足够大时,可实现几乎无失真编码。译码错误概率
15、为任意小。译码错误概率为任意小。若若则不能实现无失真编码,而当则不能实现无失真编码,而当N足够大时,译码足够大时,译码错误概率近似等于错误概率近似等于1。第32页,共65页,编辑于2022年,星期四比较公式比较公式:一般一般,当信,当信源符号有依赖时,源符号有依赖时,所以所以得到压缩得到压缩2、证明:、证明:(1)整理整理错误概率错误概率第33页,共65页,编辑于2022年,星期四设设(3)当二元编码时当二元编码时,定理,定理5.3为为等长编码时平均每个信源符号所需要等长编码时平均每个信源符号所需要的二元码符号的极限值是的二元码符号的极限值是H(s)。(2)选取的码字总数小于集选取的码字总数小
16、于集中可能中可能有的信源序列数,译码时定会产生错误。有的信源序列数,译码时定会产生错误。当当N很长时,很长时,第34页,共65页,编辑于2022年,星期四5.4.2 5.4.2 平稳有记忆信源的码长平稳有记忆信源的码长对平稳有记忆信源:对平稳有记忆信源:用用替代定理替代定理5.3中的中的H(s)无失真编码无失真编码不能实现无不能实现无失真编码失真编码第35页,共65页,编辑于2022年,星期四5.4.3 5.4.3 编码的评价编码的评价定理定理5.3式式(1)表示长为表示长为的码符号载荷的最大信息量的码符号载荷的最大信息量大于信源序列携带的信息量时大于信源序列携带的信息量时,可实现几乎可实现几
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第五章PPT讲稿 第五 PPT 讲稿
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内