信道容量分析教学提纲.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《信道容量分析教学提纲.ppt》由会员分享,可在线阅读,更多相关《信道容量分析教学提纲.ppt(95页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、信息论与编码信息论与编码(bin m)西安工业(gngy)大学电子信息工程学院 赵 黎第一页,共95页。第三章 信道容量第二页,共95页。n信道的功能:以信号形式传输和存储信息。信道的功能:以信号形式传输和存储信息。n信道传输信息的速率:与物理信道本身的特性、载荷信息的信道传输信息的速率:与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信号形式和信源输出信号的统计特性有关。n信道容量研究内容:在什么条件下,通过信道的信息量最大。信道容量研究内容:在什么条件下,通过信道的信息量最大。n信道定义:传输信息的媒介或通道。信道也可以看作一种变信道定义:传输信息的媒介或通道。信道也
2、可以看作一种变换,把输入变换成输出。换,把输入变换成输出。n信道的随机性:由于信道的随机性:由于(yuy)干扰和噪声的存在,变换是随机干扰和噪声的存在,变换是随机(概率)的。(概率)的。n信道的描述:用条件转移概率表示。信道的描述:用条件转移概率表示。第三页,共95页。本章(bn zhn)内容n信道信道(xn do)的数学模型及分类的数学模型及分类n单符号离散信道单符号离散信道(xn do)的信道的信道(xn do)容量容量第四页,共95页。3.1 信道(xn do)的数学模型及分类第五页,共95页。n一般信道一般信道(xn do)的数学模型的数学模型n信道信道(xn do)的分类的分类n实际
3、的信道实际的信道(xn do)第六页,共95页。(1)一般信道的数学模型信息论对信道的研究:对具体物理信道抽象,建立与各种通信系统相适应的信道模型,研究信息在这些模型信道上传输的普遍规律,指导通信系统的设计。信道模型:不研究信号(xnho)在信道中传输的物理过程,把信道模型看作黑匣子。第七页,共95页。n数学模型的数学符号数学模型的数学符号(fho)表示:表示:X P(Y/X)Y第八页,共95页。(2)信道的分类信道的分类 根据输入输出随机信号的特点根据输入输出随机信号的特点(tdin)分类分类 根据输入输出随机变量个数的多少分类根据输入输出随机变量个数的多少分类 根据输入输出个数分类根据输入
4、输出个数分类 根据信道上有无干扰分类根据信道上有无干扰分类 根据信道有无记忆特性分类根据信道有无记忆特性分类第九页,共95页。根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类离散离散(lsn)信道:输入和输出的随机序列的取值都是信道:输入和输出的随机序列的取值都是离散离散(lsn)的信道。的信道。连续信道:输入和输出的随机序列的取值都是连续的信连续信道:输入和输出的随机序列的取值都是连续的信道。道。半离散半离散(lsn)半连续信道:输入变量取离散半连续信道:输入变量取离散(lsn)值而输出变量取连续值,或反之值而输出变量取连续值,或反之.第十页,共95页。根据输入输出根据输入输出(
5、shch)随机变量个数的多少分类随机变量个数的多少分类单符号信道:输入和输出单符号信道:输入和输出(shch)端都只用一个随机变量端都只用一个随机变量来表示。来表示。离散无记忆扩展信道(多符号信道):输入和输出离散无记忆扩展信道(多符号信道):输入和输出(shch)端用随机变量序列(随机矢量)来表示。端用随机变量序列(随机矢量)来表示。根据输入输出根据输入输出(shch)个数分类个数分类单用户信道:只有一个输入和一个输出单用户信道:只有一个输入和一个输出(shch)的信道。的信道。多用户信道:有多个输入和多个输出多用户信道:有多个输入和多个输出(shch)的信道。的信道。(多元接入信道和广播信
6、道多元接入信道和广播信道)第十一页,共95页。根据信道上有无干扰分类根据信道上有无干扰分类有干扰信道:存在干扰或噪声有干扰信道:存在干扰或噪声(zoshng)或两者都有的信道。实或两者都有的信道。实际信道一般都是有干扰信道。际信道一般都是有干扰信道。无干扰信道:不存在干扰或噪声无干扰信道:不存在干扰或噪声(zoshng),或干扰和噪声,或干扰和噪声(zoshng)可忽略不计的信道。计算机和外存设备之间的信道可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。可看作是无干扰信道。根据信道有无记忆特性分类根据信道有无记忆特性分类无记忆信道:输出仅与当前输入有关,而与过去输入无关的信道。
7、无记忆信道:输出仅与当前输入有关,而与过去输入无关的信道。有记忆信道:信道输出不仅与当前输入有关,还与过去输入和有记忆信道:信道输出不仅与当前输入有关,还与过去输入和(或)过去输出有关。(或)过去输出有关。第十二页,共95页。(3)实际的信道实际的信道实际信道的带宽总是有限的,所以输入和输实际信道的带宽总是有限的,所以输入和输出信号总可以分解成随机序列来研究出信号总可以分解成随机序列来研究(ynji)。随机序列中每个随机变量的取。随机序列中每个随机变量的取值可以是可数的离散值,也可以是不可数值可以是可数的离散值,也可以是不可数的连续值。的连续值。一个实际信道可同时具有多种属性。一个实际信道可同
8、时具有多种属性。最简单的信道是单符号离散信道。最简单的信道是单符号离散信道。第十三页,共95页。3.2 单符号离散(lsn)信道的信道容量第十四页,共95页。n信道容量定义信道容量定义n几种特殊几种特殊(tsh)离散信道的信道容量离散信道的信道容量n离散信道容量的一般计算方法离散信道容量的一般计算方法第十五页,共95页。(1)信道容量的定义信道容量的定义 单符号离散单符号离散(lsn)信道的数学模型信道的数学模型 信道的信息传输率信道的信息传输率 信道容量信道容量第十六页,共95页。单符号离散信道的数学模型单符号离散信道的数学模型(mxng)a 信道模型信道模型(mxng)b 信道统计特性信道
9、统计特性第十七页,共95页。a 信道模型信道模型(mxng)设输入:设输入:X x1,x2,xi,xn 输出:输出:Y y1,y2,yj,ym其信道模型其信道模型(mxng):第十八页,共95页。a 信道模型信道模型(mxng)用线图描述:用线图描述:第十九页,共95页。b 信道统计特性信道统计特性信道统计特性:由信道转移信道统计特性:由信道转移(zhuny)概率描述。概率描述。信道转移信道转移(zhuny)概率(信道传递概率):条概率(信道传递概率):条件概率件概率 p(yj/xi)。信道特性表示:用信道转移信道特性表示:用信道转移(zhuny)概率矩阵,概率矩阵,简称信道矩阵。简称信道矩阵
10、。反信道矩阵:由条件概率反信道矩阵:由条件概率 p(xi/yj)表示。表示。第二十页,共95页。信道信道(xn do)的信息传输率的信息传输率第二十一页,共95页。信道的信息传输率信道的信息传输率研究信道的目的:讨论信道中平均每个符号传送的信息量(信研究信道的目的:讨论信道中平均每个符号传送的信息量(信道的信息传输率)。道的信息传输率)。信道的信息传输率:就是信道的信息传输率:就是(jish)平均互信息:平均互信息:R=I(X;Y)H(X)H(X/Y)(比特(比特/符号)符号)平均互信息平均互信息 I(X;Y)就是接收到符号就是接收到符号(fho)Y 后平均每个符号后平均每个符号(fho)获得
11、的关于获得的关于 X 的信息的信息量量第二十二页,共95页。信道的信息传输率信道的信息传输率如果信源熵为如果信源熵为 H(X),希望在信道输出端接收的信息量就,希望在信道输出端接收的信息量就是是 H(X),由于干扰的存在,一般只能接收到,由于干扰的存在,一般只能接收到 I(X;Y)。输出端输出端 Y 往往只能获得关于输入往往只能获得关于输入 X 的部分的部分(b fen)信息,信息,这是由于平均互信息性质决定的:这是由于平均互信息性质决定的:I(X;Y)H(X)。I(X;Y)是信源无条件概率是信源无条件概率 p(xi)和信道转移概率和信道转移概率 p(yj/xi)的二元函数:的二元函数:第二十
12、三页,共95页。信道容量信道容量当信道特性当信道特性 p(yj/xi)固定后,固定后,I(X;Y)随信源概率分布随信源概率分布 p(xi)的的变化而变化。变化而变化。调整调整(tiozhng)p(xi),在接收端就能获得不同的信息量。由平,在接收端就能获得不同的信息量。由平均互信息的性质已知,均互信息的性质已知,I(X;Y)是是 p(xi)的上凸函数,因此总能的上凸函数,因此总能找到一种概率分布找到一种概率分布 p(xi)(即某一种信源),使信道所能传送(即某一种信源),使信道所能传送的信息率为最大。的信息率为最大。第二十四页,共95页。信道容量信道容量信道容量信道容量 C:在信道中最大的信息
13、传输速率,单位是比特:在信道中最大的信息传输速率,单位是比特/信道符信道符号。号。单位时间单位时间(shjin)的信道容量的信道容量 Ct:若信道平均传输一个符号需:若信道平均传输一个符号需要要 t 秒钟,则单位时间秒钟,则单位时间(shjin)的信道容量为:的信道容量为:Ct 实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。第二十五页,共95页。结结 论论C 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y)的条件的条件极大值问题极大值问题(wnt),当输入信源概率分,当输入信源概率分布布 p(xi)调整好以后,调整好以后,C 和和Ct 已与已与 p(xi)无关,而仅仅是
14、信道转移概率的函无关,而仅仅是信道转移概率的函数,只与信道统计特性有关;数,只与信道统计特性有关;信道容量是完全描述信道特性的参量;信道容量是完全描述信道特性的参量;信道容量是信道能够传送的最大信息量。信道容量是信道能够传送的最大信息量。第二十六页,共95页。(2)几种特殊几种特殊(tsh)离散信道的信道容离散信道的信道容量量第二十七页,共95页。离散无噪声信道离散无噪声信道(xn do)的信道的信道(xn do)容容量量 强对称离散信道强对称离散信道(xn do)的信道的信道(xn do)容容量量 对称离散信道对称离散信道(xn do)的信道的信道(xn do)容量容量 准对称离散信道准对称
15、离散信道(xn do)的信道的信道(xn do)容容量量 第二十八页,共95页。离散无噪信道的信道容量离散无噪信道的信道容量 a 具有具有(jyu)一一对应关系的无噪信道一一对应关系的无噪信道 b 具有具有(jyu)扩展性能的无噪信道扩展性能的无噪信道 c 具有具有(jyu)归并性能的无噪信道归并性能的无噪信道第二十九页,共95页。a 具有一一对应关系的无噪信道具有一一对应关系的无噪信道(xn do)(无噪(无噪无损信道无损信道(xn do))信道信道(xn do)线图线图第三十页,共95页。a 具有一一对应关系的无噪信道(无噪无损具有一一对应关系的无噪信道(无噪无损(w sn)信道)信道)信
16、道矩阵信道矩阵第三十一页,共95页。a 具有一一对应具有一一对应(duyng)关系的无噪信道(无噪无损关系的无噪信道(无噪无损信道)信道)因为信道矩阵中所有元素均是因为信道矩阵中所有元素均是“1”或或“0”,X 和和 Y 有有确定的对应确定的对应(duyng)关系:关系:已知已知 X 后后 Y 没有不确定性,没有不确定性,收到收到 Y 后,后,X 也不存在不确定性,也不存在不确定性,I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时,具有一一对应当信源呈等概率分布时,具有一一对应(duyng)确定确定关系的无噪信道达到信道容量(信源关系的无噪信道达到信道容量(信源 X 的最大熵)的最大熵)
17、噪声噪声(zoshng)熵:熵:H(Y/X)=0损失熵损失熵/信道信道(xn do)疑义度:疑义度:H(X/Y)=0第三十二页,共95页。b 具有扩展性能的无噪信道(有噪无损信道)具有扩展性能的无噪信道(有噪无损信道)n0损失熵损失熵/信道信道(xn do)疑义度:疑义度:H(X/Y)=0第三十三页,共95页。b 具有扩展具有扩展(kuzhn)性能的无噪信道(有噪无损信道)性能的无噪信道(有噪无损信道)其信道矩阵为:其信道矩阵为:第三十四页,共95页。虽然信道矩阵中的元素不全是虽然信道矩阵中的元素不全是“1”或或“0”,但由于每列中只有,但由于每列中只有(zhyu)一个非零元素:已知一个非零元
18、素:已知 Y 后,后,X 不再不再有任何不确定度,有任何不确定度,信道容量为:信道容量为:此时输入端符号熵小于输出端符号熵,此时输入端符号熵小于输出端符号熵,H(X)0损失熵损失熵/信道信道(xn do)疑义度:疑义度:H(X/Y)=0I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)=H(X)第三十五页,共95页。b 具有具有(jyu)扩展性能的无噪信道(有噪无损信道)扩展性能的无噪信道(有噪无损信道)熵之间的关系:熵之间的关系:第三十六页,共95页。c 具有归并性能的无噪信道(无噪有损信道)具有归并性能的无噪信道(无噪有损信道)nm,输入,输入 X 的符号的符号(fho)集个数大于输
19、出集个数大于输出 Y 的的符号符号(fho)集个数:集个数:噪声噪声(zoshng)熵:熵:H(Y/X)=0损失熵损失熵/信道信道(xn do)疑义度:疑义度:H(X/Y)0第三十七页,共95页。n信道矩阵信道矩阵(j zhn)中的元素非中的元素非“0”即即“1”,每行仅有一个非零元素,每行仅有一个非零元素,但每列的非零元素个数大于但每列的非零元素个数大于 1:n已知某一个已知某一个 xi 后,对应的后,对应的 yj 完全确定,完全确定,n收到某一个收到某一个 yj 后,对应的后,对应的 xi 不完全确定,不完全确定,信道疑义度信道疑义度 H(X/Y)0。n信道容量为:信道容量为:n这种信道的
20、输入端符号熵大于输出端符号熵,这种信道的输入端符号熵大于输出端符号熵,H(X)H(Y)。噪声噪声(zoshng)熵:熵:H(Y/X)=0损失熵损失熵/信道信道(xn do)疑义度:疑义度:H(X/Y)0I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)=H(Y)第三十八页,共95页。注意:在求信道容量时,调整的始终是输入端的概率分布 p(xi),尽管信道容量式子中平均互信息 I(X;Y)等于输出端符号熵 H(Y),但是(dnsh)在求极大值时调整的仍然是输入端的概率分布 p(xi),而不能用输出端的概率分布 p(yj)来代替。第三十九页,共95页。熵之间的关系(gun x):第四十页,共
21、95页。举例:图3.2.4a的信道容量是 log23=1.585(比特/信道符号),求要达到这一信道容量对应(duyng)的信源概率分布。由信道矩阵得 p(y1)=p(x1)1+p(x2)1 p(y2)=p(x3)1+p(x4)1 p(y3)=p(x5)1只要 p(y1)=p(y2)=p(y3)=(1/3),H(Y)达到最大值,即达到信道容量 C。第四十一页,共95页。举例:此时使 p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布p(xi),i=1,2,3,4,5 存在,但不是惟一的。这种信道的输入(shr)符号熵大于输出符号熵,即 H(X)H(Y)。第四十二页,共95页。结结 论
22、论无损信道的信道容量无损信道的信道容量 C 只决定于信道的输入符号数只决定于信道的输入符号数 n,与信源无关,与信源无关(wgun)。无噪信道的信道容量无噪信道的信道容量 C 只决定于信道的输出符号数只决定于信道的输出符号数 m,与信源无关,与信源无关(wgun)。第四十三页,共95页。强对称离散信道的信道容量强对称离散信道的信道容量 a 什么什么(shn me)是强对称离散信道是强对称离散信道 b 强对称信道矩阵特点强对称信道矩阵特点 c 强对称离散信道的信道容量强对称离散信道的信道容量 d 输入是什么输入是什么(shn me)概率分布时达到信道容量概率分布时达到信道容量 e 二进制均匀信道
23、二进制均匀信道第四十四页,共95页。a 什么是强对称离散信道什么是强对称离散信道单符号离散信道的单符号离散信道的 X 和和 Y 取值均由取值均由 n 个不同个不同(b tn)符号组成,即符号组成,即X x1,x2,xi,xn,Y y1,y2,yj,yn每每信道矩阵为:信道矩阵为:第四十五页,共95页。a 什么是强对称离散什么是强对称离散(lsn)信道信道这种信道称为强对称(均匀)信道。这种信道称为强对称(均匀)信道。这类信道中:总的错误概率是这类信道中:总的错误概率是 p,对称平均地分配,对称平均地分配给给(n1)个输出符号个输出符号.信道矩阵中每行之和等于信道矩阵中每行之和等于 1,每列之和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信道容量 分析 教学 提纲
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内