第四章信道与信道容量课件.ppt
《第四章信道与信道容量课件.ppt》由会员分享,可在线阅读,更多相关《第四章信道与信道容量课件.ppt(68页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第四章信道与信道容量第1页,此课件共68页哦本章节达到的目的n了解信息论研究信道的目的、内容n了解信道的基本分类并掌握信道的基本描述方法n掌握信道容量/信道容量代价函数的概念,以及与互信息、信道输入概率分布、信道转移函数的关系n能够计算简单信道的信道容量/信道容量代价函数(对称离散信道、无记忆加性高斯噪声信道)n了解信道容量/容量代价函数在研究通信系统中的作用第2页,此课件共68页哦概念问题n熵熵率无失真信源编码定理中的作用n互信息信道容量信道编码定理中的作用第3页,此课件共68页哦回顾互信息函数的性质1n互 信息与信道输入概率分布的关系性质1:I(X;Y)是信道输入概率分布p(x)的上凸函数
2、.I(X;Y)p(x)第4页,此课件共68页哦回顾互信息函数的性质2n 信息量与信道转移概率分布的关系 性质2:I(X;Y)是信道转移概率分布p(y/x)的下凹函数.I(X;Y)p(y/x)第5页,此课件共68页哦回顾互信息函数的性质3n信息量与信道输入符号相关性的关系 性质3:信道的输入是离散无记忆的,第6页,此课件共68页哦回顾互信息函数的性质4信息量与信道输入符号相关性的关系性质4:信道是离散无记忆的,第7页,此课件共68页哦回顾互信息函数的性质5n性质3、性质4的推论:信道的输入和信道本身都是离散无记忆的第8页,此课件共68页哦信道与信道容量 n概述概述n信道的分类与描述信道的分类与描
3、述 n离散无记忆信道及其容量离散无记忆信道及其容量 n连续信道及其容量连续信道及其容量 n容量代价函数容量代价函数C(F)第9页,此课件共68页哦4.1:概述n信息论对信道研究的内容n什么是信道?n信道的作用n研究信道的目的第10页,此课件共68页哦5.1:概述1n信息论对信道研究的内容:n信道的建模:用恰当的输入/输出两个随机过程来描述n信道容量n不同条件下充分利用信道容量的各种办法第11页,此课件共68页哦5.1:概述2n什么是信道?n信道是传送信息的载体信号所通过的通道。n信息是抽象的,信道则是具体的。比如:二人对话,二人间的空气就是信道;打电话,电话线就是信道;看电视,听收音机,收、发
4、间的空间就是信道。第12页,此课件共68页哦5.1:概述3n信道的作用n在信息系统中信道主要用于传输与存储信息,而在通信系统中则主要用于传输。第13页,此课件共68页哦5.1:概述4n 研究信道的目的n实现信息传输的有效性和可靠性n有效性:充分利用信道容量n可靠性:通过信道编码降低误码率n在通信系统中研究信道,主要是为了描述、度量、分析不同类型信道,计算其容量,即极限传输能力,并分析其特性。n通信技术研究信号在信道中传输的过程所遵循的物理规律,即传输特性n信息论研究信息的传输问题(假定传输特性已知)第14页,此课件共68页哦4.2:信道的分类与描述n信道分类 n信道描述 第15页,此课件共68
5、页哦4.2:信道分类与描述1n信道分类信道分类n从工程物理背景传输媒介类型;n从数学描述方式信号与干扰描述方式;n从信道本身的参数类型恒参与变参;n从用户类型单用户与多用户;第16页,此课件共68页哦4.2:信道分类与描述2第17页,此课件共68页哦4.2:信道分类与描述3第18页,此课件共68页哦4.2:信道分类与描述4第19页,此课件共68页哦4.2:信道分类与描述5第20页,此课件共68页哦4.2:信道分类与描述6n信道描述信道描述n信道可以引用三组变量来描述:信道输入概率空间:信道输出概率空间:信道概率转移矩阵:P即:P ,它可简化为:。第21页,此课件共68页哦4.2:信道分类与描述
6、7其中:而 而 第22页,此课件共68页哦4.2:信道分类与描述8n当K=1时,退化为单个消息(符号)信道单个消息(符号)信道;进一步当n=m=2时,退化为二进制单个消息信道二进制单个消息信道。若它满足对称性,即构成最常用的二进制单消息对称信道二进制单消息对称信道BSC:且 ,第23页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道容量的计算离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量对称的离散无记忆信道容量香农第一定理的物理意义香农第一定
7、理的物理意义第24页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-1n离散消息序列信道 第25页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-2n离散无记忆信道及其信道容量离散无记忆信道及其信道容量由消息序列互信息由消息序列互信息性质性质对离散无记忆信道,有:对离散无记忆信道,有:(性质性质4)则则当且仅当信源(信道入)无记忆时,“等号”成立(性质(性质3、4推论)推论)第26页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-3n离散无记忆信道及其信道容量的进一步离散无记忆信道及其信道容量的进一
8、步理解理解nCmax存在存在互信息性质互信息性质1,上凸函数极值存在,上凸函数极值存在n达到达到Cmax时的两个条件:时的两个条件:n信道输入(信源)是离散无记忆的信道输入(信源)是离散无记忆的n信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布达到最大的分布nC的值不是由信源的的值不是由信源的p(x)决定的,而是由决定的,而是由p决定的决定的nC是是信道信道作为信息传输通道的作为信息传输通道的性能度量性能度量n只有信道输入(信源)只有信道输入(信源)X(x1x2xn)满足一定条件时,才满足一定条件时,才能充分能充分利用利用信道传输信息的能力信道传输信息的能力第27页,此课
9、件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-4n离散无记忆信道容量的计算离散无记忆信道容量的计算n思路:问题转化为:有界闭区域上求约束极值n方法:1、求区域内极值 2、求边界极值 3、求前两者的最大值n具体实现:n1、简单情况下求解(如单符号信道、对称信道)n2、解方程n3、迭代法n4、其他第28页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-5n离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1:对前向转移概率矩阵为Q的离散无记忆信道,其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是 其中
10、:是信源字母ak传送的平均互信息,C就是这一信道的信道容量。第29页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-6n离散无记忆信道的信道容量定理理解离散无记忆信道的信道容量定理理解n在这种分布下,每个概率0的字母提供的互信息C,每个概率0的字母提供的互信息Cn当且仅当这种分布时,可使I(p,Q)达到最大值CnI(X,Y)是I(x=ak;Y)的平均值。即:n想提高I(X,Y),可以提高p(ak)n但提高p(ak),又使I(x=ak;Y)降低n反复调整p(ak),使I(x=ak;Y)相等且都等于Cn此时I(X,Y)Cn定理只给出了可使I(X,Y)C的p(x)的充
11、要条件,并无具体分布及C的值,但可以帮助求解简单情况部分信道的C第30页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-7n对称的离散无记忆信道对称的离散无记忆信道信道容量信道容量n对称的离散无记忆信道输出字母的集合可以划分为若干子集,对每个子集有:n矩阵中的每一行都是第一行的重排列;n矩阵中的每一列都是第一列的重排列。n定理定理5.2:对于对称的离散无记忆信道,当信道输入字母为等概率分布时达到信道容量。第31页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-8n对称信道第32页,此课件共68页哦4.3:离散无记忆信道及其信道容量
12、离散无记忆信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2第33页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-10nBSC信道信道容量的计算a1a2b1b21-1-第34页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-11n由定理5.2,当输入等概分布时,互信息达到信道容量 即:p(a1)=p(a2)=1/2;有:于是:这里:应用举例3.2(18)、3.6(23)第35页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量
13、-12n二元删除信道信道容量的计算a1a2b1b21-1-b3第36页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-13n由定理5.2,当输入等概分布时,互信息达到信道容量 即:p(a1)=p(a2)=1/2;有:于是:第37页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-140.51.000.51.0cbaCa=Cb=a:BSC信道的信道容量曲线b:二进制删除信道的信道容量曲线第38页,此课件共68页哦求对称信道离散矩阵P的信道的容量1/21/31/6P=1/61/21/31/31/61/2C=logs-H(p1,p2,p3
14、)=log3-H(1/2,1/3,1/6)=log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126bit/s结果表明:只有输入等概率分布,信道容量达到最大,平均每个符号传输最大信息量为1.126比特第39页,此课件共68页哦1 无损信道一个输入对多个互不相交的输出,因为损失熵H(X/Y)=0故 I(X,Y)=H(X)C=logr r为输入个数2 确定信道一个输出对多个互不相交的输入,因为噪声熵H(Y/X)=0故 I(X,Y)=H(Y)C=logs s为输出个数3 无损确定信道 一个输入对一个输出,因为损失熵H(X/Y)=0 噪声熵H(Y/X)=0 故 I(X,Y)=H
15、(X)=H(Y)C=logr r为输入个数离散无噪信道第40页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-15n香农第一定理(变长无失真信源编码定理)的物香农第一定理(变长无失真信源编码定理)的物理意义理意义n (达到极限时等号成立)(达到极限时等号成立)从信道的角度看,信道的信息传输率从信道的角度看,信道的信息传输率 (达到极限时等号成立)(达到极限时等号成立)第41页,此课件共68页哦4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-16n香农第一定理(变长无失真信源编码定理)的物理意义香农第一定理(变长无失真信源编码定理)的物理意义n无噪无
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 信道 信道容量 课件
限制150内