《信息论第二讲离散信源的熵优秀PPT.ppt》由会员分享,可在线阅读,更多相关《信息论第二讲离散信源的熵优秀PPT.ppt(60页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、信息论第二讲离散信源的熵2022/12/21第1页,本讲稿共60页离散信源空间:离散信源空间:信源的符号(状态)随机地取值于一个离散集合X=(x1,x2,xn)中,一个离散信源可以用一个离离 散散 随随 机机 变变 量量的 概 率 空 间 表 示。P=(p1,p2,pn)这种表示称为离散无记忆信源离散无记忆信源的信源空间信源空间。信源空间必为一个完备空间完备空间,即其概率和为1。2022/12/22第2页,本讲稿共60页信源数学模型描述的条件:信源数学模型描述的条件:用信源空间(离离散散随随机机变变量量)来表示信源的条条件件是信源符号(状态)的先验概率是可知的,这是Shannon信息论的一个基
2、本假说。2022/12/23第3页,本讲稿共60页信息的理解信息的理解1只有信息的概念没有信息的定义;只有信息的概念没有信息的定义;2山山农农信信息息论论认认为为:“正正如如熵熵表表示示分分子子无无组组织织程程度度的的度度量量一一样样,离离散散信信源源中中所所包包含含的的信信息息就就是是信信源源符符号号不不确确定定程性的度量程性的度量”。组织程度的度量;组织程度的度量;有序程度的度量;有序程度的度量;用以减少不确定性的东西;用以减少不确定性的东西;3还有其它的描述:还有其它的描述:信息就是使概率分布发生变化的东西;信息就是使概率分布发生变化的东西;信信息息是是反反映映事事物物的的形形式式、关关
3、系系和和差差异异的的东东西西,信息包含在事物的差异之中,而不在事物本身。信息包含在事物的差异之中,而不在事物本身。2022/12/24第4页,本讲稿共60页不确定性:不确定性:只有不确定性存在,才有信息存在,获得消息后消除了不确定性才得到信息。在一个通信系统中,收信者所获取的信息量,在数量上等于通信前后对信源的不确定性的减少量。不确定性的度量(不确定度):不确定性的度量(不确定度):不确定度应该等于猜测某一随机事件是否会发生的难易程度。2.1.2 信源符号不确定性的度量信源符号不确定性的度量(uncertainty)2022/12/25第5页,本讲稿共60页Hartly公式:公式:信信源源不不
4、确确定定度度的的大大小小与与信信源源的的消消息息符符号号数数有有关关;符符号数越多,不确定度越大;号数越多,不确定度越大;信信源源不不确确定定度度的的大大小小与与信信源源的的消消息息符符号号概概率率有有关关;概概率率越小,不确定度越大;越小,不确定度越大;信源不确定度应具有可加性;信源不确定度应具有可加性;同同时时应应当当满满足足:如如果果p(xi)=0,则则I(xi)=,如如果果p(xi)=1,则,则I(xi)=0。因此为了满足以上四个条件,应把信源不确定度写为对数形因此为了满足以上四个条件,应把信源不确定度写为对数形式:式:2022/12/26第6页,本讲稿共60页自信息量的定义:自信息量
5、的定义:收收信信者者收收到到一一个个消消息息状状态态得得到到的的信信息息量量,等等于收到后对这个消息状态不确定度的减少量。于收到后对这个消息状态不确定度的减少量。I(信息量)(信息量)=不确定度的减少量。不确定度的减少量。2.1.3 信源符号的自信息量信源符号的自信息量2022/12/27第7页,本讲稿共60页无噪声信道下的自信息量:无噪声信道下的自信息量:在在假假设设信信道道没没有有干干扰扰(无无噪噪声声)的的情情况况下下,信信源源发发出出信信源源状状态态xi,接接收收者者就就会会收收到到xi,这这时时接接收收者者收收到到的的信信息息量量就就等等于于信信源源状状态态xi本本身身含含有有的的信
6、信息息量量(不不确确定定度度),称称为为信信源源状状态态xi的的自自信信息息量量,记记为为I(xi)。这这时时,接接收收到到xi所所获获得得的的信信息息量量等等于于信信源源输输出出发发出的信息量。出的信息量。2022/12/28第8页,本讲稿共60页有噪声信道下的互信息量:有噪声信道下的互信息量:在在有有噪噪声声信信道道下下,信信源源发发出出的的状状态态为为xi,接接收收者者收收到到的的状状态态为为yj,接接收收者者收收到到yj后后,从从yj中中获获取取到到关关于于xi的的信信息息量量,就就是是信信源源发发出出xi后后,接接收收者者收收到到的的信信息息量,称为互信息量。记为量,称为互信息量。记
7、为I(xi,yj)。接收到接收到yj后,信源实际发出后,信源实际发出xi时接收者所获得的信息量。时接收者所获得的信息量。由由于于噪噪声声的的干干扰扰,接接收收者者收收到到的的信信息息量量小小于于信信源源发发出出的的信信息量。息量。2022/12/29第9页,本讲稿共60页H(xi)为信源状态为信源状态xi本身具有的不确定性;本身具有的不确定性;H(xi/yj)为为接接收收到到一一个个yj后后,信信源源状状态态xi仍仍存存在在的的不不确确定定度度;收收到到yj后后,信信源源状状态态xi的的不不确确定定性性应应有有所所变变化化,这这个个变变化化量量就就称称为为信信源源状状态态xi的互信息量。的互信
8、息量。这个互信息量在什么条件下为大于零?等于零?小于零?这个互信息量在什么条件下为大于零?等于零?小于零?2022/12/210第10页,本讲稿共60页(1 1)信源熵的定义:)信源熵的定义:信源一个消息状态所具有的平均信息量。离散无记忆信源的熵(独立熵):2.2 单符号离散信源的熵单符号离散信源的熵2.2.1 信源熵的概念信源熵的概念(Entropy)H(X)H(X)表示信源发出任何一个消息状态所携带的平均信息量,也等表示信源发出任何一个消息状态所携带的平均信息量,也等于在无噪声条件下,接收者收到一个消息状态所获得的平均信息于在无噪声条件下,接收者收到一个消息状态所获得的平均信息量。量。20
9、22/12/211第11页,本讲稿共60页(2 2)熵的物理意义:)熵的物理意义:熵的本意为热力学中表示分子状态的紊乱程度;信息论中熵表示信源中消息状态的不确定度;(3 3)信源熵与信息量有不同的意义;)信源熵与信息量有不同的意义;qH(X)H(X)表示信源X每一个状态所能提供的平均信息量;qH(X)H(X)表示信源X在没有发出符号以前,接收者对信源的平均不确定度;qH(X)H(X)表示随机变量X的随机性;2022/12/212第12页,本讲稿共60页熵函数可以表示为:熵函数可以表示为:2.2.2 熵函数的性质熵函数的性质性质1:非负性;H(X)0性质2:对称性;性质3:确定性;2022/12
10、/213第13页,本讲稿共60页性质4:连续性;性质5:扩展性;2.2.3 离散信源的最大熵离散信源的最大熵(一)一般离散信源的最大熵(一)一般离散信源的最大熵在数学上可以证明熵函数存在最大值,离散信源的熵函数有n个变量,有一个约束条件,作一个辅助函数:2022/12/214第14页,本讲稿共60页Hmax(X)=H(1/n,1/n,1/n)=logn这个结果称为离离散散信信源源得得最最大大熵熵定定理理。它表明,在所有符号数相同,而概率分布不同的离散信源中,当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数,状态数越多,熵越大。2022/12/215第15页,本讲稿共60页这时可求得离散
11、信源得最大熵为(二)均值受限的离散信源的最大熵(二)均值受限的离散信源的最大熵在增加一个约束条件的情况下,求离散信源的最大熵,做辅助函数:2022/12/216第16页,本讲稿共60页加权熵加权熵上上面面定定义义的的信信源源熵熵是是没没有有考考虑虑信信息息的的主主观观因因素素,也也称称为为“概概率率信信息息”或或客客观观信信息息。我我们们可可以以利利用用加加权权熵熵描描述述不不同信息对于不同对象的重要性差异。同信息对于不同对象的重要性差异。2022/12/217第17页,本讲稿共60页联合信源的概率空间:联合信源的概率空间:联合信源可以认为有两个信源X,Y组成:X:x1,x2,xixnP(X)
12、:p(x1),p(x2),p(xi),p(xn)Y:y1,y2,yi,ymP(Y):p(y1),p(y2),p(yi),p(ym)2.3 共熵与条件熵共熵与条件熵2.3.1 联合信源的共熵(Joint Entropy)2022/12/218第18页,本讲稿共60页联合信源联合信源X:x1,x2,x3,xnY:y1,y2,y3,ym多元随机变量的概率。多元随机变量的概率。P(X),P(Y),P(X,Y)P(X/Y)P(Y/X)2022/12/219第19页,本讲稿共60页用这两个信源组成一个联合信源,其联合概率空间为:用这两个信源组成一个联合信源,其联合概率空间为:(X,Y):x1y1,x1ym
13、,x2y1,x2ym,xny1,xnymP(X,Y):P(x1,y1)p(x1,ym),p(x2,y1)p(x2,ym),p(xny1)p(xn,ym)其中状态(其中状态(xi,yj)为联合信源输出的一个状态。)为联合信源输出的一个状态。2022/12/220第20页,本讲稿共60页联合信源共熵的表达式:联合信源共熵的表达式:联合信源的共熵:联合信源输出一个组合消息状态(xi,yj)所发出的平均信息量。联合信源的独立熵:将联合信源看成两个独立的信源(当然实际上可能并不是相互独立的)时,各自信源的熵即为独立熵。2022/12/221第21页,本讲稿共60页概率的基本关系:概率的基本关系:当X,Y
14、独立时,有p(x,y)=p(x)p(y)p(x,y)=p(x)p(y)。2022/12/222第22页,本讲稿共60页2022/12/223第23页,本讲稿共60页2.3.1 联合信源的条件熵联合信源的条件熵(Conditional Entropy)一个联合信源(一个联合信源(X,Y)的条件熵定义为:)的条件熵定义为:信信源源Y(或或X)输输出出任任一一状状态态后后,信信源源X(或或Y)输输出出任一状态所发出的平均信息量。任一状态所发出的平均信息量。2022/12/224第24页,本讲稿共60页以以上上讨讨论论的的信信源源符符号号状状态态的的自自信信息息量量和和信信源源的的熵熵是是描描述述信信
15、源源的的特特性性,但但是是对对于于一一个个通通信信系系统统来来说说,最最主主要要的的问问题题是是接接收收者者收收到到信信息息的的能能力力。在在信信源源与与接接收收者者之之间间是是由由信信道道连连接接的的,这这里里要要开开始讨论信道的问题。始讨论信道的问题。2.4 离散信源的平均交互信息量离散信源的平均交互信息量2022/12/225第25页,本讲稿共60页设设离离散散信信道道的的输输入入为为一一个个随随机机变变量量X,相相应应的的输输出出的的随随机机变变量量为为Y,如图所示:如图所示:规定一个离散信道应有三个参数:规定一个离散信道应有三个参数:q输入符号集:输入符号集:X=x1,x2,.xnq
16、输出符号集:输出符号集:Y=y1,y2,.ymq信道转移概率:信道转移概率:P(Y/X)=p(y1/x1),p(y2/x1),p(ym/x1),p(y1/xn)p(ym/xn)2.4.1 离散信道的数学模型离散信道的数学模型2022/12/226第26页,本讲稿共60页离散信道主要有三种描述方法。离散信道主要有三种描述方法。概率空间描述概率空间描述X=x1,x2,xnP(Y/X)=p(yj/xi)(i=1,2,n;j=1,2,m)Y=y1,y2,ym0p(yj/xi)1这表明信道有一个输入就一定有一个输出。这表明信道有一个输入就一定有一个输出。2022/12/227第27页,本讲稿共60页转移
17、矩阵描述转移矩阵描述矩阵矩阵P称为转移矩阵或信道矩阵;表示为:称为转移矩阵或信道矩阵;表示为:P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)P矩阵为一个矩阵为一个nm矩阵,其每行元素之和等于矩阵,其每行元素之和等于1。2022/12/228第28页,本讲稿共60页图示法描述图示法描述离散信道的图示法描述如图所示。离散信道的图示法描述如图所示。2022/12/229第29页,本讲稿共60页2.4.2 X与与Y的关系的关系当当信信道道输输出出一一个个符符号号yj时时,一一定
18、定是是有有一一个个输输入入符符号号xi输入信道。输入信道。对于给定的信道对于给定的信道P,如果已知先验概率,如果已知先验概率p(xi),则可以求,则可以求出出p(xi,yj)、P(xi/yj)和和p(yj)。先验概率;联合概率;先验概率;联合概率;信道转移概率;后验概率;信道转移概率;后验概率;2022/12/230第30页,本讲稿共60页2.4.3 交互信息量交互信息量(Mutual Information)定义:定义:信信息息传传输输的的根根本本问问题题是是,对对于于给给定定的的信信道道计计算算收收到到一一个个yj后后,从从yj中中获获取取关关于于xi的的信信息息量量。这这个个信信息息量量
19、称称为为互互信息量,记为信息量,记为I(xi,yj)。I(xi,yj)=接收接收yj前接收者对前接收者对xi存在的不确定度存在的不确定度-接收接收yj后接收者对后接收者对xi仍存在的不确定度仍存在的不确定度=通信前后接收者对通信前后接收者对xi不确定度的变化量(减少量)不确定度的变化量(减少量)I(xi,yj)=H(xi)-H(xi/yj)=I(xi)-I(xi/yj)2022/12/231第31页,本讲稿共60页交互关系交互关系由由p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)可以得到如下结果:可以得到如下结果:I(xi,yj)=I(xi)-I(xi/yj)=I(y
20、j)-I(yj/xi)I(xi,yj)=I(yj,xi)称为称为交互信息量交互信息量2022/12/232第32页,本讲稿共60页两个公式两个公式由以上两个公式可以看到:由以上两个公式可以看到:只只要要已已知知某某一一个个信信源源符符号号的的先先验验概概率率及及相相应应的的转转移移概概率率,就就可可以以得到相应的交互信息量。得到相应的交互信息量。2022/12/233第33页,本讲稿共60页后验概率与交互信息量后验概率与交互信息量已知交互信息量已知交互信息量=log(后验概率后验概率/先验概率先验概率),这里分析后验概率对交互信息量的影响。这里分析后验概率对交互信息量的影响。H(xi/yj)=
21、0收收到到yj后后可可以以准准确确无无误误地地判判断断xi,相相当当于于无无噪噪声声信信道道,收到收到yj获得的信息量就等于获得的信息量就等于xi的自信息量。的自信息量。H(xi)H(xi/yj)收到收到yj后判断信源发出后判断信源发出xi的概率,大于收到的概率,大于收到yj之前判断之前判断信源发出信源发出xi的概率,通信后接收者对信源符号的概率,通信后接收者对信源符号xi的不的不确定度减少了,获得的信息量大于确定度减少了,获得的信息量大于0。2022/12/234第34页,本讲稿共60页H(xi)=H(xi/yj)收收到到yj后后判判断断信信源源发发出出xi的的概概率率,等等于于收收到到yj
22、之之前前判判断断信信源源发发出出xi的的概概率率,通通信信后后接接收收者者对对信信源源符符号号xi的的不不确定度没有变化,获得的信息量等于确定度没有变化,获得的信息量等于0。H(xi)H(xi/yj)收到收到yj后判断信源发出后判断信源发出xi的概率,小于收到的概率,小于收到yj之前判之前判断信源发出断信源发出xi的概率,通信后接收者对信源符号的概率,通信后接收者对信源符号xi的不确定度不但没减少,反而增加了,获得的信息的不确定度不但没减少,反而增加了,获得的信息量小于量小于0。2022/12/235第35页,本讲稿共60页离散无记忆信道离散无记忆信道DMC离散无记忆信道是一种简单的通信信道模
23、型。离散无记忆信道是一种简单的通信信道模型。离散:某一时刻的输入输出为有限的符号集合;离散:某一时刻的输入输出为有限的符号集合;无记忆:某一时刻的输出只与这一时刻的输入有关;无记忆:某一时刻的输出只与这一时刻的输入有关;X:x1,x2,xnY:y1,y2,ym2022/12/236第36页,本讲稿共60页二元对称信道二元对称信道BSC01101-p1-pppn=m=22022/12/237第37页,本讲稿共60页二元删除信道二元删除信道01101-p1-qpq?n=2;m=32022/12/238第38页,本讲稿共60页后验熵后验熵H(X/Y)接收者接收者(观测者观测者)收到收到Y后后,对信源
24、对信源X仍然存在的不确定量仍然存在的不确定量2022/12/239第39页,本讲稿共60页定义:定义:交交互互信信息息量量接接收收者者通通过过某某一一个个信信道道P从从一一个个信信宿宿符符号号yj中中获获得得某某一一信信源源符符号号xi信信息息量量的的问问题题,但但它它没没有有反反映映一一个信道的个信道的整体特性整体特性,因此,这里定义,因此,这里定义平均交互信息量。平均交互信息量。对对于于给给定定的的信信道道模模型型;X,P(Y/X),Y,其其平平均均互互信息量为:信息量为:I(X,Y)=H(X)-H(X/Y)2.4.4 平均交互信息量平均交互信息量2022/12/240第40页,本讲稿共6
25、0页关系关系:进一步还可以得到:平均交互信息量给出了信道传输一个信源符号所传递的平均信息量,对于给定的信道和信源平均交互信息量是一个确定的量,平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量,因此也称为平均接收信息量。2022/12/241第41页,本讲稿共60页利用熵的概念来描述交互信息量:利用熵的概念来描述交互信息量:疑义度疑义度I(X,Y)=H(X)-H(X/Y)其其中中条条件件熵熵H(X/Y)称称为为疑疑义义度度,可可疑疑度度,它它表表示示接接收收者者收收到到Y后,对信源后,对信源X仍然存在的平均不确定度。仍然存在的平均不确定度。扩散度扩散度(噪声熵)(噪声熵
26、)I(X,Y)=H(Y)-H(Y/X)其其中中条条件件熵熵H(X/Y)称称为为扩扩散散度度,噪噪声声熵熵,它它表表示示发发信信者者发发出出X后,对信道输出后,对信道输出Y仍然存在的平均不确定度。仍然存在的平均不确定度。联合熵联合熵(共熵)(共熵)I(X,Y)=H(X)+H(Y)-H(X,Y)其中熵其中熵H(X,Y)称为联合熵,共熵,它表示通信完成之后,观称为联合熵,共熵,它表示通信完成之后,观察者对通信系统仍然存在的平均不确定度。察者对通信系统仍然存在的平均不确定度。2022/12/242第42页,本讲稿共60页I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-
27、H(X,Y)图给出了平均交互信息量、信源熵,信宿熵,联合熵,疑义度图给出了平均交互信息量、信源熵,信宿熵,联合熵,疑义度和扩散度之间的关系。和扩散度之间的关系。2022/12/243第43页,本讲稿共60页2.4.5 平均交互信息量的特性2.5.1 I(X,Y)的非负性2.5.2 平均交互信息量的交互性2.5.3 平均交互信息量的极值性2.5.4 平均交互信息量的凸函数性 2.5.5 平均交互信息量的不增性 2022/12/244第44页,本讲稿共60页2.5.1 I(X,Y)的非负性的非负性当x为大于0的实数时,底大于1的对数logx是x的严格上凸 函 数。可 以 证 明 若f(x)为 上
28、凸 函 数,则 有:fpixipif(xi),如f(x)=logx,则有:logpixipilogxi根据这个关系,考虑平均交互信息量,I(X,Y)=p(xi,yj)logp(xi,yj)/p(xi)p(yj)则:-I(X,Y)=p(xi,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=logp(xi)p(yj)=0所以有:I(X,Y)02022/12/245第45页,本讲稿共60页2.5.2 平均交互信息量的交互性平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)则:I(X,Y)=I(Y,X)(对于一个信息系统来说)交
29、互性表明在Y中含有关于X的信息,I(X,Y);在X中含有关于Y的信息,I(Y,X);而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同,对信道的输入X和输出Y的总体测度的两种表达形式。2022/12/246第46页,本讲稿共60页X和和Y相互独立,交互性最小,相互独立,交互性最小,I(X,Y)=0;X和和Y完全相关,交互性最大,完全相关,交互性最大,I(X,Y)=H(X)=H(Y);H(X/Y)=H(Y/X)=0,相当于信道无信息损失。相当于信道无信息损失。2022/12/247第47页,本讲稿共60页这种信道的特点是:这种信道的特点是:n=m,每行只有一个元素为,每行只有一
30、个元素为1,每列只有一个元素为,每列只有一个元素为1。其转移概率不为其转移概率不为1,就为,就为0。2022/12/248第48页,本讲稿共60页这时有:这时有:所以有:所以有:I(X,Y)=I(Y,X)=H(X)=H(Y)2022/12/249第49页,本讲稿共60页2.5.3 平均交互信息量的极值性平均交互信息量的极值性平均交互信息量I(X,Y)不可能超过信源熵H(X),因为H(X/Y)0所以有I(X,Y)=H(X)-H(X/Y)H(X)因为H(Y/X)0所以有I(X,Y)=H(Y)-H(Y/X)H(Y)疑疑义义度度、噪噪声声熵熵总总是是大大于于等等于于0,平平均均交交互互信信息息量量总总
31、是是小小于于信源熵或信宿熵。信源熵或信宿熵。在信道的输出端在信道的输出端Y得到的关于输入端得到的关于输入端X的信息量不会超过信的信息量不会超过信源源X的平均信息量。的平均信息量。2022/12/250第50页,本讲稿共60页扩展性无噪声信道扩展性无噪声信道由由于于其其矩矩阵阵的的每每一一列列元元素素只只有有一一个个非非零零元元素素,所所以以后后验验概率不等于概率不等于1,就等于,就等于0.即:即:2022/12/251第51页,本讲稿共60页 这时可知疑义度H(X/Y)=0,平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲,这种信道可以把信源的信息全部传递给信宿。这种每列只有一个
32、非0元素的信道也是一种无噪声信道,称为具有扩展性能的无噪声信道。这时:这时:H(Y/X)=H(Y)-H(X)因为:因为:H(Y/X)0,所以:所以:H(Y)H(X);得到的结论为:得到的结论为:这时的信宿熵将大于信源熵,因此称为扩展信这时的信宿熵将大于信源熵,因此称为扩展信道。道。2022/12/252第52页,本讲稿共60页并归性无噪声信道并归性无噪声信道 这类信道的转移概率等于1或者等于0,每一列的元素可有一个或多个1,可知其噪声熵H(Y/X)=0,此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)这时可以证明:疑义度 H(X/Y)=H(X)-H(Y),并且并且
33、H(X)H(Y),2022/12/253第53页,本讲稿共60页通通过过这这两两个个例例题题可可以以进进一一步步理理解解条条件件熵熵的的概概念念,疑疑义义度度和和噪噪声声熵熵都都是是由由于于信信道道噪噪声声引引起起的的,当当信信道道转转移移概概率率是是一一一一对对应应的的确确定定关关系系时时,疑义度和噪声熵等于疑义度和噪声熵等于0,无噪声信道无噪声信道。一一个个X产产生生多多个个Y,称称为为扩扩展展信信道道,在在扩扩展展信信道道中中若若P中中每每列列只只有有一一个个非非0元元素素,H(X/Y)=0,即即疑疑义义度度=0,称称为为扩扩展展性性无无噪噪声声信信道道,否否则则称称为为扩展噪声信道扩展
34、噪声信道。多个多个X产生一个产生一个Y,称为归并信道,在归并信道中若,称为归并信道,在归并信道中若P中元素为中元素为0或或1,H(Y/X)=0,即噪声熵,即噪声熵=0,称为归并性无噪声信道,否则称为,称为归并性无噪声信道,否则称为归归并噪声信道并噪声信道。2022/12/254第54页,本讲稿共60页平平均均交交互互信信息息量量先先验验概概率率p(xi)和和信信道道转转移移概概率率p(yj/xi)的的函函数数,可可以以记记为:为:I(X,Y)=Ip(xi),p(yj/xi)如果信道固定,如果信道固定,I(X,Y)是先验概率的函数是先验概率的函数;如果信源固定,如果信源固定,I(X,Y)是信道转
35、移概率的函数。是信道转移概率的函数。可以进一步证明:可以进一步证明:当当信信道道一一定定时时,I(X,Y)是是信信源源先先验验概概率率的的上上凸凸函函数数;这这就就是是说说,对对于于一一定定的的信信道道转转移移概概率率分分布布,总总可可以以找找到到一一个个先先验验概概率率分分布布为为pm(xi)的的信信源源X,使使平平均均交交互互信信息息量量达达到到相相应应的的最最大大值值Imax,这这时时称称这这个个信信源源为为该该信信道道的的匹匹配配信信源源。可可以以说说不不同同的的信信道道转转移移概概率率对对应应不不同同的的I。或或者者说说Imax是是P(Y/X)的的函函数。数。2.5.4 平均交互信息
36、量的凸函数性平均交互信息量的凸函数性 2022/12/255第55页,本讲稿共60页例例2-11设二元对称信道的信源空间为:X=0,1;P(X)=,1-;平均交互信息量为:I(X,Y)=H(Y)-H(Y/X);信道转移概率如图。2022/12/256第56页,本讲稿共60页 H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)=p(xi)-plogp+(1-p)log(1-p)=H(p)其中:记其中:记H(p)=-plogp+(1-p)log(1-p)另外:为了求另外:为了求H(Y),利用利用p(yj)=p(xi)p(yj/xi);可得:;可得:p(y=0)=(1-p)+(1-)p
37、 p(y=1)=p+(1-)(1-p)则:则:H(Y)=H(1-p)+(1-)p)2022/12/257第57页,本讲稿共60页可得平均交互信息量为:I(X,Y)=H(1-p)+(1-)p)-H(p)可知,当p值一定,I(X,Y)是的上凸函数,2022/12/258第58页,本讲稿共60页当当信信源源一一定定时时,平平均均交交互互信信息息量量I(X,Y)是是信信道道转转移移概率的下凸函数;概率的下凸函数;这这就就是是说说,对对于于一一个个已已知知先先验验概概率率为为P(X)的的离离散散信信源源,总总可可以以找找到到一一个个转转移移概概率率分分布布为为Pm(Y/X)的的信信道道,使使平平均均交交互互信信息息量量达达到到相相应应的的最最小小值值Imin。可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin。或或者者说说Imin是是P(X)的的函函数数。即即平平均均交互信息量的最小值是体现了信源本身的特性。交互信息量的最小值是体现了信源本身的特性。2022/12/259第59页,本讲稿共60页例例2-12:I(X,Y)=H(1-p)+(1-)p)-H(p),当固定信源先验概率分布时,I(X,Y)是信道转移概率p的下凸函数,如图所示。2022/12/260第60页,本讲稿共60页
限制150内