第三离散信道及其信道容量课件.ppt

第三离散信道及其信道容量第1页，此课件共65页哦第一节第一节 信道的数学模型及分类信道的数学模型及分类第2页，此课件共65页哦第一节第一节 信道的数学模型及分类信道的数学模型及分类1 1、信道的分类：、信道的分类：根据信道用户的多少：根据信道用户的多少：（1 1）单用户信道：只有一个输入端和一个输出端）单用户信道：只有一个输入端和一个输出端（2 2）多用户信道：至少有一端有两个以上的用户，双向通信）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：根据输入端和输出端的关联：（1 1）无反馈信道）无反馈信道（2 2）有反馈信道）有反馈信道第3页，此课件共65页哦根据信道参数与时间的关系：根据信道参数与时间的关系：（1 1）固定参数信道）固定参数信道（2 2）时变参数信道）时变参数信道根据输入输出信号的特点：根据输入输出信号的特点：（1 1）离散信道）离散信道（2 2）连续信道）连续信道（3 3）半离散半连续信道）半离散半连续信道（4 4）波形信道）波形信道以下我们只研究无反馈、固定参数的单用户离散信道。以下我们只研究无反馈、固定参数的单用户离散信道。第一节第一节 信道的数学模型及分类信道的数学模型及分类第4页，此课件共65页哦P(Y|X)XY根据这一模型，可对信道分类如下：根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量设离散信道的输入为一个随机变量X，相应的输出的随机变量为，相应的输出的随机变量为Y，如图所，如图所示：示：规定一个离散信道应有三个参数：规定一个离散信道应有三个参数：输入符号集：输入符号集：X=x1，x2，xn输出符号集：输出符号集：Y=y1，y2，yn信道转移概率：描述输入信号和输出信号之间统计依赖关系，反映了信道的统计特信道转移概率：描述输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。性。P(Y|X)=p(y1|x1),p(y2|x1),p(ym|x1),p(y1|xn)p(ym|xn)2、离散信道的数学模型、离散信道的数学模型第一节第一节 信道的数学模型及分类信道的数学模型及分类第5页，此课件共65页哦（1）无干扰（无噪）信道无干扰（无噪）信道：输入信号与输出信号有确定的一一对应关系。：输入信号与输出信号有确定的一一对应关系。第一节第一节 信道的数学模型及分类信道的数学模型及分类第6页，此课件共65页哦（2）有干扰无记忆信道有干扰无记忆信道：输入与输出无确定的对应关系，输出只与当前输入：输入与输出无确定的对应关系，输出只与当前输入有关。有关。无记忆信道：无记忆信道：信道任一时刻输出符号只统计依赖于信道任一时刻输出符号只统计依赖于对应时刻的输入符号对应时刻的输入符号，而与而与非对应时刻非对应时刻的的输入输入符号及其他任何时刻的符号及其他任何时刻的输出输出符号都无关。符号都无关。（3）有干扰有记忆信道有干扰有记忆信道：这是最一般的信道，实际信道往往是这种类型。：这是最一般的信道，实际信道往往是这种类型。有记忆信道：有记忆信道：信道中某一瞬间的输出符号不但与信道中某一瞬间的输出符号不但与对应时刻的输入符号有关对应时刻的输入符号有关，而与还与此前而与还与此前其他时刻其他时刻的的输入输入符号及符号及输出输出符号有关。符号有关。第一节第一节 信道的数学模型及分类信道的数学模型及分类第7页，此课件共65页哦3、单符号离散信道的数学模型、单符号离散信道的数学模型 单符号离散信道的单符号离散信道的输入变量输入变量为为X，取值于，取值于 输出变量输出变量为为Y，取值于，取值于 并有并有 条件概率条件概率条件概率被称为信道的条件概率被称为信道的传递概率或转移概率传递概率或转移概率。因为信道有干扰，若信道输入为因为信道有干扰，若信道输入为x=ai，输出是哪一个符号，输出是哪一个符号y，事先无法确定，事先无法确定，但信道输出一定是但信道输出一定是b1，b2，bs中的一个，即中的一个，即 第一节第一节 信道的数学模型及分类信道的数学模型及分类第8页，此课件共65页哦 一般简单的单符号离散信道的数学模型可以用概率空一般简单的单符号离散信道的数学模型可以用概率空间间X,P(y|x),Y来描述。来描述。X Y第一节第一节 信道的数学模型及分类信道的数学模型及分类第9页，此课件共65页哦例例1 二元对称信道二元对称信道（BSC）X=0,1;Y=0,1;p(0|0)=p(1|1)=1-p;p(0|1)=p(1|0)=p;P =0101-pp1p1-p 0 1-p 0 p p 1 1-p 1第一节第一节 信道的数学模型及分类信道的数学模型及分类第10页，此课件共65页哦例例2 二元删除信道二元删除信道X=0,1;Y=0,2,1P =02101-pp010p1-p 0 1-p 0 pp 1 1-p 12第一节第一节 信道的数学模型及分类信道的数学模型及分类第11页，此课件共65页哦 0 1-p 0 pp 1 1-p 12P =02101-pp010p1-p这种信道实际是存在的。假如有一个实际信道，它的输入是代表0和1的两个正、负方波信号，如图3.5(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t),如图3.5(b)所示。我们可以用积分 来判别发送的信号是“0”还是“1”。如果I是正的，且大于某一电平，那么判别发送的是“0”；若I是负的，且小于某一电平，则判别发送的是“1”。而若I的绝对值很小，不能作出确切的判断，就认为接收到的是特殊符号“2”，假如信道干扰不是很严重的话，那么1 0和0 1的可能性要比0 2和1 2的可能性小得多，所以假设 是较合理的。第12页，此课件共65页哦P =y1y2ymx1p(y1|x1)p(y2|x1)p(ym|x1)x2p(y1|x2)p(y2|x2)p(ym|x2)xnp(y1|xn)p(y2|xn)p(ym|xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示为：由此可见，一般单符号离散信道的传递概率可以用矩阵表示为：第一节第一节 信道的数学模型及分类信道的数学模型及分类第13页，此课件共65页哦 为了表述简便，可以写成为了表述简便，可以写成下面推导几个关系式：下面推导几个关系式：第一节第一节 信道的数学模型及分类信道的数学模型及分类这个矩阵完全描述了信道的统计特性，其这个矩阵完全描述了信道的统计特性，其中有些概率是信道干扰引起的错误概率，中有些概率是信道干扰引起的错误概率，有些概率是信道正确传输的概率。所以该有些概率是信道正确传输的概率。所以该矩阵称为矩阵称为信道矩阵信道矩阵。第14页，此课件共65页哦（2）输出符号的概率）输出符号的概率（1）联合概率）联合概率其中其中称为称为前向概率前向概率，描述信道的噪声特性。，描述信道的噪声特性。称为称为后向概率后向概率，有时也把有时也把 称为称为先验概率，先验概率，把把 称为称为后验概率。后验概率。（3）后验概率）后验概率 表明输出端收到任一符号，必定是输入端某一符号输入所致。表明输出端收到任一符号，必定是输入端某一符号输入所致。第一节第一节 信道的数学模型及分类信道的数学模型及分类第15页，此课件共65页哦第二节第二节 平均互信息平均互信息第16页，此课件共65页哦第二节第二节 平均互信息平均互信息复习：自信息的数学期望为信源的平均信息量。复习：自信息的数学期望为信源的平均信息量。称为先验熵。称为先验熵。1、信道疑义度、信道疑义度第17页，此课件共65页哦第二节第二节 平均互信息平均互信息信道疑义度定义：信道疑义度定义：这这个个条条件件熵熵称称为为信信道道疑疑义义度度，表表示示输输出出端端在在收收到到一一个个符符号号后后，对对输输入入符符号号尚尚存存的的不不确确定定性性，这这是是由由信信道道干干扰扰造造成成的的，如如果果没没有有干干扰扰，H(X|Y)=0，一一般般情情况况下下H(X|Y)小小于于H(X)，说说明明经经过过信信道道传传输输，总总能能消消除除一一些些信信源源的的不不确确定定性性，从从而而获得一些信息。获得一些信息。这是收到这是收到 后关于后关于X的的后验熵后验熵，表示收到，表示收到 后关于输入符号的信后关于输入符号的信息测度。息测度。第18页，此课件共65页哦简单的通信模型简单的通信模型第二节第二节 平均互信息平均互信息2、平均互信息、平均互信息从通信的角度引出互信息量的概念从通信的角度引出互信息量的概念信源符号信源符号经过信道传输，信宿方接收到的符号经过信道传输，信宿方接收到的符号信源信源信道信道信宿信宿干扰干扰信源符号集信源符号集信宿符号集信宿符号集第19页，此课件共65页哦第二节第二节 平均互信息平均互信息互信息定义：一个事件所给出（贡献）的关于另一个事件的信息互信息定义：一个事件所给出（贡献）的关于另一个事件的信息量。比如今天下雨给出的关于明天下雨的信息量。量。比如今天下雨给出的关于明天下雨的信息量。事件事件 是否发生具有不确定性，用是否发生具有不确定性，用 度量。度量。接收到信号接收到信号 后，事件后，事件 是否发生仍保留有一定的不确定性，用是否发生仍保留有一定的不确定性，用 度量。度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用观察事件前后，这两者之差就是通信过程中所获得的信息量，用 表示，成为事件表示，成为事件 和事件和事件 之间的之间的互信息量互信息量。即已知即已知 这个消息后，所消这个消息后，所消除的除的 那个事件的不确定性。那个事件的不确定性。第20页，此课件共65页哦第二节第二节 平均互信息平均互信息互信息量的性质：互信息量的性质：(a)对称性，即对称性，即I(x;y)=I(y;x)；(b)当当x和和y独立时，独立时，I(x;y)=0;注：注：和和 的区别在于：的区别在于：前者是事件前者是事件 和事件和事件 之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY上元素上元素 的自信息量。的自信息量。第21页，此课件共65页哦第二节第二节 平均互信息平均互信息 I(X;Y)=H(X)-H(X|Y)因为因为H(X)表示传输前信源的不确定性，而表示传输前信源的不确定性，而H(X|Y)表示收到符号后，对信表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。源尚存的不确定性，所以二者之差是信道传递的信息量。下面我们讨论一下互信息与其他的熵之间的关系。下面我们讨论一下互信息与其他的熵之间的关系。P(x)平均互信息定义：平均互信息定义：互信息互信息I(x:y)在两个概率空间在两个概率空间X和和Y中求统计平均的结果；中求统计平均的结果；先验熵与信道疑义度之差。先验熵与信道疑义度之差。第22页，此课件共65页哦 由由3.34也也可可以以看看出出，互互信信息息I(X;Y)也也表表示示输输出出端端H(Y)的的不不确确定定性性和和已已知知X的的条条件件下下关关于于Y的的不不确确定定性性之之差差，也也等等于于发发送送前前后后关关于于Y的的不不确定性之差。确定性之差。H(X|Y)即即信信道道疑疑义义度度，也也表表示示通通过过有有噪噪信信道道造造成成的的损损失失，故故也也称称为为损损失失熵熵，因因此此信信源源的的熵熵等等于于收收到到的的信信息息量量加加上上损损失失的的熵熵；而而H(Y|X)表表示示已已知知输输入入的的情情况况下下，对对输输出出端端还还残残留留的的不不确确定定性性，这这个个不不确确定定性性是是由由噪噪声声引引起起的的，故故也也称称之之为为噪噪声声熵熵或或散散布布度度，它它反反映映了了信信道道中中噪噪声声源源的的不不确确定定性。性。第二节第二节 平均互信息平均互信息I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y|X)(3.34)也可以得到：也可以得到：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)第23页，此课件共65页哦 H(X|Y)H(Y|X)互信息与各类熵之间的关系可以用下图（维拉图）表示：互信息与各类熵之间的关系可以用下图（维拉图）表示：H(XY)H(X)H(Y)I(X;Y)可以看出，联合熵等于两圆之和减去第三部分，也等于一个圆加上另外可以看出，联合熵等于两圆之和减去第三部分，也等于一个圆加上另外一部分。一部分。图图1第二节第二节 平均互信息平均互信息第24页，此课件共65页哦 下面讨论两种极端情况：下面讨论两种极端情况：(1)无噪一一对应信道无噪一一对应信道 此时可以计算得：此时可以计算得：H(X|Y)=H(Y|X)=0，在图中表示就是两圆重合。，在图中表示就是两圆重合。(2)输入输出完全统计独立输入输出完全统计独立 此时此时I(X;Y)=0 H(X|Y)=H(X)H(Y|X)=H(Y)第二节第二节 平均互信息平均互信息第25页，此课件共65页哦第三节第三节 平均互信息的特性平均互信息的特性第26页，此课件共65页哦第三节第三节 平均互信息的特性平均互信息的特性1、平均互信息的非负性平均互信息的非负性 I(X;Y)=0 该性质表明，通过一个信道总能传递一些信息，最差的条件下，该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于输入输出完全独立，不传递任何信息，互信息等于0，但绝不会失去，但绝不会失去已知的信息。已知的信息。2、平均互信息的极值性平均互信息的极值性 I(X;Y)=H(X)一般来说，信道疑义度总是大于一般来说，信道疑义度总是大于0，所以互信息总是小于信源的熵，只，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。，互信息等于信源的熵。第27页，此课件共65页哦3、平均互信息量的交互性平均互信息量的交互性 I(X;Y)=I(Y;X)I(Y;X)表示从表示从X中提取关于的中提取关于的Y的信息量，实际上的信息量，实际上I(X;Y)和和I(Y;X)只是观察者只是观察者的立足点不同，对信道的输入的立足点不同，对信道的输入X和输出和输出Y的总体测度的两种表达形式。的总体测度的两种表达形式。4、平均互信息的凸状性平均互信息的凸状性第三节第三节 平均互信息的特性平均互信息的特性与两个因素有关：与两个因素有关：信源的信源的P(x)分布分布信道信道P(y|x)情况情况第28页，此课件共65页哦 定理定理3.1：平均互信息：平均互信息I(X;Y)是输入信源概率分布是输入信源概率分布P(x)的的 型型凸函数（又称上凸函数）。凸函数（又称上凸函数）。这这就就是是说说，对对于于一一定定的的信信道道转转移移概概率率分分布布，总总可可以以找找到到某某一一个个先先验验概概率率分分布布的的信信源源X，使使平平均均互互信信息息量量达达到到相相应应的的最最大大值值Imax，这这时时称称这这个个信信源源为为该该信信道道的的匹匹配配信信源源。可可以以说说不不同同的的信信道道转转移移概概率率对对应应不不同同的的Imax。因因此此，当当固固定定某某信信道道时时，选选择择不不同同的的信信源源（其其概概率率分分布布不不同同）与与信信道道连连接接，在在信信道道输输出出端端接接收收到到每每个个符符号号后后获获得得的的信信息息量量是是不不同同的的。对对于于每每一一个个固固定定的的信信道道，一一定定存存在在一一个个某某种种概概率率分分布布的的信信源源，使使输输出出端端获获得得的的平平均均信信息息量量为为最最大。大。第三节第三节 平均互信息的特性平均互信息的特性第29页，此课件共65页哦例：对于二元对称信道例：对于二元对称信道,如果信源分布如果信源分布X=,1-，则，则第三节第三节 平均互信息的特性平均互信息的特性I(X;Y)1/21-H(P)而：而：0 1-p 0 pp 1 1-p 1所以所以第30页，此课件共65页哦 定理定理3.2 平均互信息平均互信息I(X;Y)信道传递概率信道传递概率P(y|x)的的U型凸函数（又称下凸函数）。型凸函数（又称下凸函数）。这这就就是是说说，对对于于一一个个已已知知先先验验概概率率为为P(X)的的离离散散信信源源，总总可可以以找找到到某某一一个个转转移移概概率率分分布布的的信信道道，使使平平均均互互信信息息量量达达到到相相应应的的最最小小值值Imin。可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin。或或者者说说Imin是是P(X)的的函函数数。即即平平均均互互信信息息量量的的最最小小值值体体现现了了信信源源本本身身的的特特性性。因因此此，当当信信源源固固定定后后，选选择择不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道的的输输出出端端获获得得关关于于信信源源的的信信息息量量是是不不同同的的。对对每每一一种种信信源源都都存存在在一一种种最最差差的的信信道道，此此信信道道的的干干扰扰（噪噪声声）最最大大，而而输输出出端端获获得得的的信信息量最小。息量最小。第三节第三节 平均互信息的特性平均互信息的特性第31页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第32页，此课件共65页哦我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率即信道的信息传输率R。信道的信息传输率信道的信息传输率就是平均互信息就是平均互信息I(X;Y)，即，即R=I(X;Y)=H(X)-H(X|Y)传输效率，与时间无关传输效率，与时间无关有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输一有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输一个符号需要个符号需要t秒钟，则信道每秒钟平均传输的信息量为秒钟，则信道每秒钟平均传输的信息量为Rt=I(X;Y)/t=H(X)/t-H(X/Y)/t一般称此为一般称此为信息传输速率信息传输速率，单位为比特，单位为比特/秒或奈特秒或奈特/秒秒。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第33页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法对于一个固定的信道，总存在一种信源（概率分布为对于一个固定的信道，总存在一种信源（概率分布为P(x)），使），使传输每个符号平均获得的信息量最大，定义这个最大的信息传输传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为率为信道容量信道容量C，单位是比特，单位是比特/符号，即符号，即 信道单位时间内平均传输的最大的信息量为信道单位时间内平均传输的最大的信息量为一般仍称一般仍称Ct为信道容量，单位是比特为信道容量，单位是比特/秒。秒。信道容量是完全描述信道特性的参量，是信道能够传输的最大信信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。息量。第34页，此课件共65页哦例：对于二元对称信道，信源分布例：对于二元对称信道，信源分布X=,1-。其平均互信息为：其平均互信息为：0 1-p 0 pp 1 1-p 1当当=1/2时，存在极大值时，存在极大值 I(X;Y)=H(1/2)-H(p)=1-H(p)因此二元对称信道的信道容量为因此二元对称信道的信道容量为 C=1-H(p)可见，可见，信道容量只是信道传输概率信道容量只是信道传输概率p的函数，而与的函数，而与输入符号输入符号X的概率分布的概率分布无关。无关。I(X;Y)1/21-H(P)Cp1/2第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第35页，此课件共65页哦1、离散信道离散信道的信道容量的信道容量（1）具有一一对应关系的无噪声信道）具有一一对应关系的无噪声信道x1 y1x2 y2x3 y3此时由于信道完全可靠，其损失熵和疑义度都等于此时由于信道完全可靠，其损失熵和疑义度都等于0，所以，所以 I(X;Y)=H(X)=H(Y)根据极值性，根据极值性，C=logr=logs第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法信道矩阵信道矩阵第36页，此课件共65页哦(2)无损信道无损信道（具有扩展性能）（具有扩展性能）此时信道疑义度（损失熵）为此时信道疑义度（损失熵）为0，而信道噪声熵不为，而信道噪声熵不为0，从而，从而 C=maxI(X;Y)=maxH(X)-H(X|Y)=maxH(X)=logr 信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。因后向概率无损信道。因后向概率P(x|y)等于等于0或或1，接收到符号，接收到符号Y后对发送的后对发送的X符号符号是完全确定的。是完全确定的。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法x2x1y3y4y5y1y2x3y6第37页，此课件共65页哦(3)无噪有损信道（确定信道）无噪有损信道（确定信道）（具有归并性能）（具有归并性能）x1x2x3x4x5y1y2 在这类信道中接收到符号在这类信道中接收到符号Y后不能完全消除对后不能完全消除对X的不确定性，信息有损失。的不确定性，信息有损失。但输出端但输出端Y的平均不确定性因噪声熵等于的平均不确定性因噪声熵等于0而没有增加。而没有增加。因前向概率因前向概率P(y|x)等于等于0或或1，此时信道疑义度（损失熵）不为，此时信道疑义度（损失熵）不为0，而信道，而信道噪声熵为噪声熵为0，从而，从而 C=maxI(X;Y)=maxH(Y)-H(Y|X)=maxH(Y)=logs第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第38页，此课件共65页哦用维拉图表示各类熵之间的关系：用维拉图表示各类熵之间的关系：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法损失熵等于零的信道称为损失熵等于零的信道称为无损信道无损信道；噪声熵等于零的信道称为；噪声熵等于零的信道称为无噪信道无噪信道；一一对应的无噪信道称为一一对应的无噪信道称为无噪无损信道无噪无损信道。有噪无损信道有噪无损信道无噪有损信道无噪有损信道第39页，此课件共65页哦和和2、对称对称离散信道离散信道的信道容量的信道容量第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法但但 和和 不是对称信道。不是对称信道。离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵P中每一行都是由同一中每一行都是由同一 集的诸元素不同排列组成，并且每一列也都是由集的诸元素不同排列组成，并且每一列也都是由 集的诸元集的诸元素不同排列组成。即信道矩阵素不同排列组成。即信道矩阵P中每一行是另一行的置换，以及每一列是另一列的置换。具有这种对称性中每一行是另一行的置换，以及每一列是另一列的置换。具有这种对称性信道矩阵的信道称为信道矩阵的信道称为对称离散信道对称离散信道。一般。一般 ，当，当 时时 集集 集相同，若集相同，若 ，集应是集应是 的子集，例如，信道矩阵的子集，例如，信道矩阵第40页，此课件共65页哦如果离散信道的转移矩阵如果离散信道的转移矩阵 （强对称信道的信道矩阵一定是方阵）（强对称信道的信道矩阵一定是方阵）称称此此信信道道为为强强对对称称信信道道或或均均匀匀信信道道，它它是是对对称称离离散散信信道道的的一一种种特特例例。这这类类信信道道中中总总的的错错误误概概率率为为p，对对称称地地分分配配给给r-1个个输输出出符符号号。该该信信道道的的各各列列之之和也为和也为1。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第41页，此课件共65页哦下面我们来下面我们来计算对称离散信道的信道容量计算对称离散信道的信道容量。I(X;Y)=H(Y)-H(Y|X)而而H(Y|X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即无关的一个常数，即因此因此 可以看出，当可以看出，当输出等概分布输出等概分布时，即时，即H(Y)=logs时，可达到信道容量。时，可达到信道容量。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第42页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法它只与对称信道矩阵中行矢量和输出符号集的个数它只与对称信道矩阵中行矢量和输出符号集的个数s有关。有关。那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输输入等概分布时，输出也等概分布入等概分布时，输出也等概分布。.可以看出，信道的输出也是等概分布的。可以看出，信道的输出也是等概分布的。对称离散信道的信道容量为：对称离散信道的信道容量为：第43页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法例例：对于二元对称信道对于二元对称信道这个式子是很重要的。这个式子是很重要的。第44页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法例：对于例：对于强对称信道强对称信道，其信道容量为：，其信道容量为：第45页，此课件共65页哦3、准准对称信道对称信道的信道容量：的信道容量：若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为信道，则称该信道为准对称信道准对称信道，如：，如：可划分为：可划分为：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第46页，此课件共65页哦又如：又如：可分成：可分成：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第47页，此课件共65页哦 可以证明达到信道容量的输入分布是等概分布，也可计算可以证明达到信道容量的输入分布是等概分布，也可计算准对称信准对称信道的信道容量道的信道容量为：为：其中其中r是输入符号集的个数，是输入符号集的个数，为矩阵中的行元素，为矩阵中的行元素，是第是第k个矩阵中的行元素之和，个矩阵中的行元素之和，是第是第k个矩阵的列元素之和。个矩阵的列元素之和。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法n是将准对称信道切成的块数。是将准对称信道切成的块数。第48页，此课件共65页哦例：例：可分成：可分成：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第49页，此课件共65页哦定理定理3.3：一般离散信道达到信道容量的：一般离散信道达到信道容量的充要条件充要条件是输入概率分布满足是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。的互信息。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道一般离散信道的信道容量的信道容量第50页，此课件共65页哦可以利用该定理对一些特殊信道求得它的信道容量。可以利用该定理对一些特殊信道求得它的信道容量。例：输入符号集为：例：输入符号集为：0,1,2假设输入概率分布假设输入概率分布P(0)=P(2)=1/2，P(1)=0，则：则：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法所以：所以：0 01 12 210.50.51第51页，此课件共65页哦对于对于一般信道一般信道的求解方法，就是求解方程组的求解方法，就是求解方程组若若r=s，此方程有解，可以解出，此方程有解，可以解出s各未知数各未知数 ，再根据，再根据移项得：移项得：令令则则得得从而从而第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第52页，此课件共65页哦例：例：第一步，列方程组：第一步，列方程组：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法解之得：解之得：第53页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第二步，求信道容量：第二步，求信道容量：第三步，求第三步，求p(yi)如何分布才能取到上述如何分布才能取到上述信道容量：信道容量：第四步，求第四步，求p(xi)如何分布才能取到上述如何分布才能取到上述信道容量：信道容量：第54页，此课件共65页哦第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法结论：当结论：当p(xi)满足如下分布时，满足如下分布时，平均互信息达到最大值，即平均互信息达到最大值，即信道容量。信道容量。第55页，此课件共65页哦第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第56页，此课件共65页哦 多符号有记忆信道的信道容量非常复杂，我们只学习多符号有记忆信道的信道容量非常复杂，我们只学习多符号无记忆多符号无记忆信道信道的信道容量。的信道容量。将某一信道矩阵中的信源和信道分别进行扩展后，采用乘法原则得将某一信道矩阵中的信源和信道分别进行扩展后，采用乘法原则得到扩展后传递矩阵的各元素，则扩展后的传递矩阵对应的信道为到扩展后传递矩阵的各元素，则扩展后的传递矩阵对应的信道为扩展信扩展信道道。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第57页，此课件共65页哦离散无记忆信道为：离散无记忆信道为：则它的则它的N次次扩展信道扩展信道为：为：为为N次扩展信源中的一个符号。次扩展信源中的一个符号。为为N次扩展接收符号集中的一个符号。次扩展接收符号集中的一个符号。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第58页，此课件共65页哦第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量我们首先从一个例子开始。我们首先从一个例子开始。例：二元无记忆对称信道的二次扩展信道例：二元无记忆对称信道的二次扩展信道二元无记忆对称信道为二元无记忆对称信道为 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就成为了扩展信道。也就成为了扩展信道。则它的二次扩展信道为：则它的二次扩展信道为：第59页，此课件共65页哦根据互信息的定义根据互信息的定义定理定理3.5 如果如果信道是无记忆的信道是无记忆的，即，即则：则：定理定理3.6 如果如果信源是无记忆的信源是无记忆的，即，即第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第60页，此课件共65页哦因此，如果信源、信道都是无记忆的因此，如果信源、信道都是无记忆的 这就是这就是离散无记忆扩展信道的信道容量离散无记忆扩展信道的信道容量，该信道容量在信，该信道容量在信源是无记忆信源且每一个输入变量源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。达到最佳分布时达到。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第61页，此课件共65页哦写出如下信道的写出如下信道的2次扩展信道，并计算原信道和扩展信道的信道容量。次扩展信道，并计算原信道和扩展信道的信道容量。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量提示：对于提示：对于强对称信道强对称信道，其信道容量为：，其信道容量为：比较扩展信道和原信道的信道容量，看是否满足比较扩展信道和原信道的信道容量，看是否满足 。第62页，此课件共65页哦第六节第六节 信源与信道的匹配信源与信道的匹配第63页，此课件共65页哦第六节第六节 信源与信道的匹配信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输时，信信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为息传输率达到了信道容量，我们认为信源与信道达到匹配信源与信道达到匹配，否则，我，否则，我们认为有剩余。们认为有剩余。定义：定义：信道剩余度信道剩余度C-I(X;Y)信道的信道的相对剩余度相对剩余度对于无损信道，相对剩余度对于无损信道，相对剩余度第64页，此课件共65页哦 如何才能做到匹配呢？如何才能做到匹配呢？一般通信系统中，把信源发出的符号变成能在信道中传输的符号，一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，香农无失真信源编码理论，也就是无失真数据压缩理论也就是无失真数据压缩理论。无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。第六节第六节 信源与信道的匹配信源与信道的匹配第65页，此课件共65页哦