(完整版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章

2.1一个马尔可夫信源有3个符号u为：pu|u1/2，pu1121,u2,u3，转移概率

|u11/2，pu3|u10，pu1|u21/3，

pu2|u20，pu3|u22/3，pu1|u31/3，pu2|u32/3，pu3|u30，

画出状态图并求出各符号稳态概率。 解：状态图如下

1/2

u11/31/21/32/32/3u2

状态转移矩阵为：

u301/21/2p1/302/3 1/32/30

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

111W1W2W3W1102W1332512W1W3W2WPW9由得计算可得 W223W1W2W312526W2W3W3325W1W2W31

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，

p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出

状态图，并计算各状态的稳态概率。 解：p(0|00)p(00|00)0.8 p(0|01)p(10|01)0.5

p(0|11)p(10|11)0.2 p(0|10)p(00|10)0.5 p(1|00)p(01|00)0.2 p(1|01)p(11|01)0.5 p(1|11)p(11|11)0.8 p(1|10)p(01|10)0.5

00.80.20000.50.5 于是可以列出转移概率矩阵：p0.50.500000.20.8状态图为：

0.8000.50.2010.50.50.50.2

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

5W1140.8W10.5W3W10.2W10.5W3W2W21WPW470.5W20.2W4W3 得 计算得到 Wi110.5W20.8W4W4W3i17W1W2W3W415W41410110.8

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；

(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；

(5) 两个点数中至少有一个是1的自信息量。 解： (1)

11111p(xi)6666181I(xi)logp(xi)log4.170 bit18

(2)

111p(xi)66361I(xi)logp(xi)log5.170 bit36

(3)

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36

41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是11661 36其他15个组合的概率是2111

66181111H(X)p(xi)logp(xi)6log15log4.337 bit/symbol

36181836i(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

23456789101112X11111151511P(X)3618129366369121836H(X)p(xi)logp(xi)i111111115511 2log2log2log2log2loglog36181812129936366636 3.274 bit/symbol(5)

1111p(xi)116636I(xi)logp(xi)log111.710 bit36

2-4

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

设随机变量X代表女孩子学历

X x（是大学生）x 2（不是大学1生）

P(X)

0.25 0.75

设随机变量Y代表女孩子身高

Y P(Y) y1（身

0.5

y2（身高

0.5

高>160cm） <160cm）

已知：在女大学生中有75%是身高160厘米以上的 即：p(y1/x1)0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量 即：I(x/y)logp(x/y)logp(x)p(y111111/x1)p(y1)log0.250.751.415 bit 0.5

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为3的概率p(x)p(1,2)p(2,1)1

18该消息自信息量I(x)logp(x)log184.170bit 2）因圆点之和为7的概率

p(x)p(1,6)p(6,1)p(2,5)p(5,2)p(3,4)p(4,3)1 6该消息自信息量I(x)logp(x)log62.585bit

2.7 设有一离散无记忆信源，其概率空间为

Xx10x21x32x43 1/41/41/8P3/8 （1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032

011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x)log1218log21.415bit p(x1)3233同理可以求得I(x)2bit,I(x)2bit,I(x)3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I14I(x)13I(x)12I(x)6I(x)87.81bit

1234平均每个符号携带的信息量为87.811.95bit/符号

452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}

二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X)lognlog42 bit/symbol

1八进制脉冲的平均信息量H(X二进制脉冲的平均信息量H(X所以：

2)lognlog83 bit/symbol )lognlog21 bit/symbol0

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－” 用三个脉冲 “●”用一个脉冲

(1) I(●)=(2) H= 42-10

H(Y/黑)= H(Y/白)=

(4) P(黑)= P(白)= H(Y)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度

（3）如果颜色已知时，则计算条件熵

1Log(4)2 I(－)＝

Log430.415

Log(4)34Log430.811

(2) P(黑/黑)= P(白/黑)=

(3) P(黑/白)= P(白/白)=

解：令X表示指针指向某一数字，则X={1,2,……….,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}

Y是X的函数，由题意可知p(xy)p(x)

iji（1）H(Y)p(y)logjj1312381838log2log1.24bit/符号 p(yj)38238182（2）H(X,Y)H(X)log385.25bit/符号

（3）H(X|Y)H(X,Y)H(Y)H(X)H(Y)5.251.244.01bit/符号

2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率rx,yr为

ijijr11r12r21r22r31r32r137/241/240r231/241/41/24

r331/247/240（1） 如果有人告诉你X和Y的实验结果，你得到的

平均信息量是多少？

（2） 如果有人告诉你Y的实验结果，你得到的平均

信息量是多少？

（3） 在已知Y实验结果的情况下，告诉你X的实验

结果，你得到的平均信息量是多少？ 解：联合概率p(x,y)为

ij y1 y2 y3

Y X x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24 H(X,Y)p(xi,yj)log2ij1p(xi,yj)272411log24log224log24247244 =2.3bit/符号

X概率分布 X P YY P

2.13 有两个二元随机变量X和Y，它们的联合概率为

Y X x1=0 x2=1 y1 x1 x2 x3 1H(Y)3log231.583bit/符

8/24 8/24 8/24 号

H(X|Y)H(X,Y)H(Y)2.31.58概y2 率y3 分布是

=0.72bit/符号

8/24 8/24 8/24

y1=0 y2=1 1/8 3/8 3/8 1/8 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；

(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1)

p(x1311)p(x1y1)p(x1y2)882p(xp(x(x3112)2y1)p2y2)882H(X)p(xi)logp(xi)1 bit/symboli

p(yy1311)p(x11)p(x2y1)882p(yp(xp(x3112)1y2)2y2)882H(Y)p(yj)logp(yj)1 bit/symboljZ = XY的概率分布如下：

z0z21ZP(Z)17188

2H(Z)p(z7711k)loglog0.544 bitk8888/symbolH(Y/Z),

p(x1)p(x1z1)p(x1z2)p(x1z2)0p(x1z1)p(x1)0.5p(z1)p(x1z1)p(x2z1)p(x2z1)p(z1)p(x1z1)p(z2)p(x1z2)p(x2z2)p(x2z2)p(z2)18730.588133111H(XZ)p(xizk)logp(xizk)logloglog1.406 bit/symbol288882ik

p(y1)p(y1z1)p(y1z2)p(y1z2)0p(y1z1)p(y1)0.5p(z1)p(y1z1)p(y2z1)p(y2z1)p(z1)p(y1z1)p(z2)p(y1z2)p(y2z2)p(y2z2)p(z2)18730.588133111H(YZ)p(yjzk)logp(yjzk)logloglog1.406 bit/symbol288882jk

p(x1y1z2)0p(x1y2z2)0p(x2y1z2)0p(x1y1z1)p(x1y1z2)p(x1y1)p(x1y1z1)p(x1y1)1/8p(x1y2z1)p(x1y1z1)p(x1z1)p(x1y2z1)p(x1z1)p(x1y1z1)p(x2y1z1)p(x2y1z2)p(x2y1)p(x2y1z1)p(x2y1)p(x2y2z1)0p(x2y2z1)p(x2y2z2)p(x2y2)18H(XYZ)p(xiyjzk)log2p(xiyjzk)p(x2y2z2)p(x2y2)ijk1132883813333111 loglogloglog1.811 bit/symbol88888888

(2)

13333111H(XY)p(xiyj)log2p(xiyj)loglogloglog1.811 bit/symbol88888888ijH(X/Y)H(XY)H(Y)1.81110.811 bit/symbolH(Y/X)H(XY)H(X)1.81110.811 bit/symbolH(X/Z)H(XZ)H(Z)1.4060.5440.862 bit/symbolH(Z/X)H(XZ)H(X)1.40610.406 bit/symbolH(Y/Z)H(YZ)H(Z)1.4060.5440.862 bit/symbolH(Z/Y)H(YZ)H(Y)1.40610.406 bit/symbolH(X/YZ)H(XYZ)H(YZ)1.8111.4060.405 bit/symbolH(Y/XZ)H(XYZ)H(XZ)1.8111.4060.405 bit/symbolH(Z/XY)H(XYZ)H(XY)1.8111.8110 bit/symbol (3)

I(X;Y)H(X)H(X/Y)10.8110.189 bit/symbolI(X;Z)H(X)H(X/Z)10.8620.138 bit/symbolI(Y;Z)H(Y)H(Y/Z)10.8620.138 bit/symbol

I(X;Y/Z)H(X/Z)H(X/YZ)0.8620.4050.457 bit/symbolI(Y;Z/X)H(Y/X)H(Y/XZ)0.8620.4050.457 bit/symbolI(X;Z/Y)H(X/Y)H(X/YZ)0.8110.4050.406 bit/symbol2-14 (1)

P(ij)=

(2) 方法1: 方法2: 2-15 P(j/i)=

P(i/j)=

=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)0.3logP(黑|白)=P(黑)

0.7210100.7log20.8813bit/符号 37P(白|白)＝P(白) P(黑|黑)＝P(黑) P(白|黑)＝P(白)

0.3黑0.3白0.7

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）

H(X)H(X2|X1)p(xi,yj)log2ij1p(xi,yj)0.91430.7log20.80.3log210.8111 0.08570.7log20.20.3log20.91430.08570.2＝0.512bit/符号

2.17 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)

H(X)log2nlog21287 bit/symbolH(X)NH(X)31072.110 bit/symbolN56

2)

H(X)log2nlog21000013.288 bit/symbolH(X)NH(X)100013.28813288 bit/symbolN

3)

H(XN)2.1106N158037H(X)13.288

2.20 给定语音信号样值X的概率密度为

p(x)1xe,x,求2Hc(X)，并证明它小于同样方差

的正态变量的连续熵。 解：

1xHc(X)px(x)logpx(x)dxpx(x)logedx21px(x)logdxpx(x)(x)logedx211xloglogee(x)dx2211loglogeex(x)dxlog2211log2loge2xexdx2201xlogloge(1x)e0212eloglogelog2001xe(x)dx 2E(X)0,D(X)H(X,)22

1214e2e2eelog2e2log2loglogH(X) 22

2.24 连续随机变量X和Y的联合概率密度为：

1p(x,y)r20x2y2r2其他，求H(X), H(Y), H(XYZ)和

I(X;Y)。 （提示：2log2sinxdxlog22）

解：

02

p(x)r2x2r2x2rp(xy)dyr2x212r2x2dy (rxr)2r2x2r2rHc(X)p(x)logp(x)dxrr2r2x2 p(x)logdx2rrrr2 p(x)log2dxp(x)logr2x2dxrrrrr2 logp(x)logr2x2dxr2r21 loglogr1log2e221 log2rlog2e bit/symbol2其中：rrp(x)logr2x2dxr2r2x222logrxdx2rr4r22rx2logr2x2dxr040令xrcos2rsinlogrsind(rcos)r2402r2sin2logrsindr244420sin2logrsindsinlogrd220420sin2logsind1cos241cos2logr2d2logsind0202

202logr2d020logr2cos2d02logsind220cos2logsindlogr1logr2dsin22(2log22)220cos2logsindlogr1220cos2logsind1logr1log2e2其中：220cos2logsind201logsindsin2201sin2logsin12sin2dlogsin02202sincoscoslog2edsin2log2e2cos2d01cos2d02112log2edlog2e2cos2dlog2e20

011log2elog2esin2221log2e220

p(y)r2y2r2y2p(xy)dxr2y22r2y21 (ryr)dxr2y2r2r2p(y)p(x)1HC(Y)HC(X)log2rlog2e bit/symbol2Hc(XY)p(xy)logp(xy)dxdyR p(xy)log RR1dxdyr2

logr2p(xy)dxdy log2r2 bit/symbol Ic(X;Y)Hc(X)Hc(Y)Hc(XY) 2log2rlog2elogr2 log2log2e bit/symbol

2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；

(3) 计算(2)中序列的熵。 解： (1)

1331H(X)p(xi)logp(xi)loglog0.811 bit/symbol

4444i(2)

13p(xi)44m100m3100m1004341.51.585m bit1004100m

I(xi)logp(xi)log(3)

H(X100)100H(X)1000.81181.1 bit/symbol

2-26

P(i)=

H(IJ)=

2.29 有一个一阶平稳马尔可夫链X值于集合

Aa1,a2,a31, P(ij)=

X2,,Xr,,各Xr取

,已知起始概率P(Xr)为2 3 p11/2,p2p31/4，转移概率如下图所示

j i 1

1 2 3 (1) 求(X,X121/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 ,X3)的联合熵和平均符号熵

(2) 求这个链的极限平均符号熵 (3) 求H,H,H和它们说对应的冗余度

012解：（1）

H(X1,X2,X3)H(X1)H(X2|X1)H(X3|X2,X1) H(X1)H(X2|X1)H(X3|X2)111111H(X1)logloglog1.5bit/符号

224444

X1，X2的联合概率分布为

p(x1ix2j) 1 2 3 p(x2j)p(x1ix2j)

i1 2 3 1/4 1/8 1/8 1/6 0 1/12 0 1 2 3 X2的

14/24 5/24 5/24 概

1/6 1/12 率分布为 那么

111131131H(X2|X1)log4log4log4loglog3loglog3

48862126212=1.209bit/符号

X2X3的联合概率分布为

p(x2ix3j) 1 2 3 1 2 3 那么

H(X3|X2)7/24 7/48 7/48 5/36 0 5/12 0 5/36 5/12 771535535log2log4log4loglog3loglog3 244883627236272=1.26bit/符号

H(X1,X2,X3)1.51.2091.263.969bit/符号

所以平均符号熵H(X,X312,X3)3.9691.323bit／符号 3（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,

122转移概率距阵为P32314013141 302241W1W2W31W12337113WPW由Wi1 得到 计算得到 W1W3W2W231443W1W2W31W314又满足不可约性和非周期性

H(X)WiH(X|Wi)i134111321H(,,)2H(,,0)1.25bit/符号 72441433(3)

H2H0log31.58bit/符号

H11.5bit/符号

1.51.2091.355bit/符号 2

1.250.211.581.2521210.078

1.355010111111.250.6171.5

1/2a12/31/41/42/31/31/3a2a3

2-30

(1) 求平稳概率 P(j/i)=解方程组

得到

(2) 信源熵为: 2-31

P(j/i)= 解方程组 得到W1=

, W2= , W3=

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。

（1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较



1-pp/21-p0p/2p/2p/21p/2p/221-p图2-13

1pp/2p/2 p/21pp/2解:根据香农线图,列出转移概率距阵Pp/2p/21p令状态0,1,2平稳后的概率分布分别为W1,W2,W3

p(1p)W1W22WPW3p 得到 W1(1p)W2Wi12i1W1W2W311pWW3W132p1W3W2 计算得到W

321W3由齐次遍历可得

1pp12H(X)WiH(X|Wi)3H(1p,,)(1p)logplog

3221ppiH(X,)log31.58bit/符号 由最大熵定理可知H(X)存在极

大值

或者也可以通过下面的方法得出存在极大值:

H(X)1pp21p log(1p)(1)logplogp1p2p22(1p)p112(1p)22(1p) 又0p1所以

p0,当2(1p)p=2/3时

p1 2(1p)0(X)plog0 p2(1p)H(X)plog0 p2(1p)所以当p=2/3时H号 所以H(X)存在极大值,且H(X)max1.58bit/符

(X)H(X,)

2-33 (1)

解方程组:

得p(0)=p(1)=p(2)= (2)

(3)

当p=0或p=1时 信源熵为0

练习题：有一离散无记忆信源，其输出为X0,1,2，相应的概率为pP(y1|x) 0 1 2 0设计两个独立的实验去1/4,p11/4,p21/2，

12观察它，其结果分别为Y0,1,Y0,1，已知条件概率:

0 1 0 1/2 11 1 1 1/2 2P(y2|x) 0 1 2 0 1 1 0 1 0 0 1 (1) 求I(X;Y)和I(X;Y)，并判断哪一个实验好些

(2) 求I(X;YY)，并计算做Y1和Y2两个实验比做Y1和

12Y2中的一个实验可多得多少关于X的信息 (3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义

解:(1)由题意可知 0 Y1 X 0 1 2 1/4 0 1/4 0 1/4 1/4 1

0 1 Y2 X 0 1 1/4 1/4 0 0 1/2

P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2 =0.5bit/符号

111110 I(X;Y1)H(Y1)H(Y1|X)log2log2 log2log242424111I(X;Y2)H(Y2)H(Y2|X)log2log1log1log11bit/442符

号>I(X;Y)

1所以第二个实验比第一个实验好 （2）因为Y1和Y2 相互独立，所以p(yy12|x)p(y1|x)p(y2|x)

P(y1y2x) 00 01 10 11 0 1 2 1/4 0 0 0 0 0 0 1/4 0 1/4 1/4 0 P(y1y2|x) 00 01 10 11 0 1 2 1 0 0 0 0 0 1 0 0 1/2 1/2 0 y1y2 00 01 10 11 p

111I(X;Y1Y2)H(Y1,Y2)H(Y1Y2|X)log4log1log12log24441/4 1/4 1/4 1/4 bit/

符号

=1.5bit/符号

由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。 （3）

I(X;Y1|Y2)H(X|Y1)H(X|Y1,Y2)H(X,Y2)H(X)[H(X)I(X;Y1,Y2)] [H(X)I(X;Y2)][H(X)I(X;Y1,Y2)]I(X;Y1,Y2)I(X;Y2)=1.5-1=0.5bit/符号

表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得

I(X;Y2|Y1)I(X;Y1,Y2)I(X;Y1)=1.5-0.5=1bit/符号

表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量

欢迎下载！ 第三章

2313.1 设二元对称信道的传递矩阵为31323

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；

(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1)

3311H(X)p(xi)(log2log2)0.811 bit/symbol4444iH(Y/X)p(xi)p(yj/xi)logp(yj/xi)ij322311111122 (lglglglg)log210433433433433 0.918 bit/symbol32110.583343433112p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.41674343H(Y)p(yj)(0.5833log20.58330.4167log20.4167)0.980 bit/symbolp(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)jI(X;Y)H(X)H(X/Y)H(Y)H(Y/X)H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol

2)

1122CmaxI(X;Y)log2mHmilog22(lglg)log2100.082 bit/symbol3333其最佳输入分布为p(xi)1

23-2某信源发送端有2个符号，x，i＝1，2；p(x)a，每秒发出一个符号。接受端有3种符号y，j＝1，2，

iii

1/23，转移概率矩阵为P。 1/21/41/41/20（1） 计算接受端的平均不确定度；

（2） 计算由于噪声产生的不确定度H(Y|X)； （3） 计算信道容量。

1/21/20解：P

1/21/41/4ij联合概率p(x,y)

y y X Y y x 0 a/2 a/2 x (1a)/2 (1a)/4 (1a)/4 则Y的概率分布为

y y y Y (1a)/4 (1a)/4 1/2 （1）H(Y)1log21+alog41alog4

12312123241a41116a1a log2loglog2241a41a1111a1alog2log16loglog2441a241a311a1a log2loglog2241a41a1a

取2为底

311a1aH(Y)(log2log)bit 2241a241aa1a11a11a11a1logloglogloglog（2）H(Y|X) 22222244443(1a)alog2log2

23alog2 2取2为底

H(Y|X)3abit 211a1aacmaxI(X;Y)maxH(Y)H(Y|X)maxlog2loglogp(xi)p(xi)p(xi)41a241a2

a11a1a(ln2lnln)2241a41a取e为底

a112a11aa11ln2ln() 2241a41a41a1a1a11aa2ln2ln 2222(1a)41a41a111a ln2ln241a= 0

1a1 1a43a

51311131clog2loglog 9254125454312531log2loglog 104162043153log2loglog2 10241015log 24

3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解：

由题意可知该二元信道的转移概率矩阵为：

0.990.01P 0.010.99为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

ClogsH(P)log2pilogi1210.92bit/signpi1CtC1000C920bit/sect

3.4 求图中信道的信道容量及其最佳的输入概率分布.

并求当=0和1/2时的信道容量C的大小。

解: 信道矩阵

001,此信道为非奇异矩01eeP=e1－e03X

0

1 1－

Y 0

1 1

2

1－

2

阵,又r=s,可利用方程组求解

P(b|a)=P(b|a)logP(b3jijjij1j11j|ai) (i=1,2,3)

0)log(1(1)log)(12)23(1log

(11)3)log(1解得

0

23(1)log(1)log

(1-)log(1-)+

所以 C=log

j2j=log[2+2×2

1-H()

0

log]

=log[1+2

P(b1)21C]=log[1+2(11)(1))(1H())]

2C12(1221121)P(b2)CP(b3)(1)12(1)(123CP(b2)

而 P(b)j3i1P(ai)P(bj|ai) (j=1,2,3)

得P(b)2P(b1)P(a2)(1P(a2)P(a1))P(a3))P(a3)(1

1)(1)P(b3)所以 P(a1)=P(b1)=

P(a2)P(a3)P(b2)P(b3)12(1

)(1)12(1)(1

当=0时,此信道为一一对应信道,得

C=log3, P(a)P(a)P(a)1

1233当

P(a1)1,P(a2)2P(a3)=1/21

4时,得 C=log2,

3.5 求下列二个信道的信道容量，并加以比较

p（1）pppp2 （2）p2pp200 2其中p+p=1 解：

（1）此信道是准对称信道，信道矩阵中Y可划分成

三个互不相交的子集 由于集列所组成的矩阵

ppp2,而这两个子矩阵满足对称性，因p2此可直接利用准对称信道的信道容量公式进行计算。

C1=logr-H(p1’ p2’ p3’)-NklogMk

k12其中r=2,N1=M1=1-2 N2=2 M2=4 所以

C1=log2-H(p,p-ε,2ε)-(1-2)log(1-2)-2log4

=log2+(p)log(p)+(p-ε)log(p-ε)+2

εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε

=log2-2εlog2-(1-2ε)log(1-2ε)+(p)

log(p)+(p-ε)log(p-ε)

=(1-2ε)log2/(1-2ε)+(p)log(p)+(p

-)log(p-)

输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，也可采用上述两种方

法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵

p为p2p，0p0这两矩阵为对称矩阵 其2中r=2,N1=M1=1-2 N2=M2=2，所以 C=logr-H(p-,p-ε,2ε,0)-NklogMk

k12=log2+(p-)log(p-)+(p-ε)log(p-ε)+2

εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε

=log2-(1-2ε)log(1-2ε)+( p-)log(p-)

+(p-ε)log(p-ε)

=(1-2ε)log2/(1-2ε)+2εlog2+(p-)log(

p-)+(p-ε)log(p-ε)

=C1+2εlog2

输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2

3-6 设有扰离散信道的传输情况分别如图示。求出该信道的信道容量。

X1/21/2Y1/21/21/21/21/21/2图3-17

11解：22000112020011 22112002对称信道

ClogmH(Y|ai) log4122log2

取2为底 C1bit/符号

－17所3

3-7 (1) 条件概率

，联合概率

，后验概

率

p(y0)13 ，

p(y1)12 ，

p(y2)16

（2） H(Y/X)= （3）

当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：

P(x1/y2)=5，P(x2/y2)=5，P(x3/y2)=5 其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=51350.8113

（4）平均错误概率为

（5）仍为0.733 （6）此信道不好

原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7）

H(X/Y)=

16Log(2)110Log(5)115Log21351515LogLog(5)LogLog(10)Log1.301 101021521033035

3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又

设{(信号功率+噪声功率)/噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。 解：

3. 9 在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。 解：

Hlog2nlog2164 bit/symbolINH2.2510649106 bit10I9106Ct1.5105 bit/st60PXCtWlog1PN

1.5105W15049 HzPXlog2(11000)log1PN

Ct

3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。

（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；

（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？

（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1）CWlog(1SNR) 110log(110) 3.159Mbps

（2）CWlog(15)3.459Mbps

3.159MW1.338MHZ

2622222log263（3）CW3log2(1SNR')3.459Mbps

log2(1SNR')3.459 0.5SNR120

欢迎下载！ 第四章

1X0a0DP(X)1/21/20a4.2 某二元信源其失真矩阵为求这信源的Dmax和Dmin和R(D)函数。

解：

11aDmaxminDjminp(xi)d(xi,yj)a0j222i11Dminp(xi)mind(xi,yj)000j22i

因为二元等概信源率失真函数： 其中n = 2, 所以率失真函数为：

DDDDR(D)ln2ln1ln1aaaa

DR(D)lnnHa

123X0P(X)1/41/41/41/4，接收符4.3 一个四元对称信源011Y = {0, 1, 2, 3}，其失真矩阵为1111011101110，求

号Dmax和Dmin及信源的R(D)函数，并画出其曲线（取4至5个点）。 解：

因为n元等概信源率失真函数：

DDDDR(D)lnnlna1ln1an1aa

D1Dln1D3

11113DmaxminDjminp(xi)d(xi,yj)1110j44444i1111Dminp(xi)mind(xi,yj)00000j4444i

其中a = 1, n = 4, 所以率失真函数为：

R(D)ln4Dln函数曲线：

R(D)ln4D01/41/23/4

其中：

D0,R(0)ln4nat/symbol1116D,R(D)ln4lnnat/symbol42311D,R(D)ln4ln12nat/symbol223D,R(D)0nat/symbol4

4-3

01d 11111011101110

信源熵为 H(x)Log(4)2

Dmax =min{4,4,4,4} R(Dmax)=0 Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2

3333

p(y1)p(y2)p(y3)p(y4)只要满足

p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。

欢迎下载！ 第五章

5-1 将下表所列的某六进制信源进行二进制编码，试问：

C C C C C 消概率 C 息 u1 1/2 000 0 0 0 1 01 u2 1/4 001 01 10 10 000 001 u3 1/16 010 011 110 1101 001 100 u4 1/16 011 0111 1110 1100 010 101 u5 1/16 100 01111 11110 1001 110 110 u6 1/16 101 011111 111110 1111 110 111 (1) 这些码中哪些是唯一可译码？ (2) 哪些码是非延长码？

(3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码

123456

C1:6231C2:21222324252663164C4:21224241C3:C5:215231C6:225231C5不是唯一可译码，而C4：

63164

又根据码树构造码字的方法

C1，C3，C6的码字均处于终端节点 他们是即时码

5-2

(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms

当信源等概率分布时,信源熵为H(X)=log(4)=2

平均信息传递速率为 (2) 信源熵为 H(X)= 5-5

(1) 248163264128128 H(U)=

12Log(2)14Log(4)18Log(8)116Log(16)132Log(32)111111111bit/ms=200bit/s

=0.198bit/ms=198bit/s

64Log(64)1128Log(128)1128Log(128)1.984

(2) 每个信源使用3个二进制符号,出现0的次数为

出现1的次数为

P(0)= P(1)= (3)

(4) 相应的香农编码

信源符号累加-Logp(xi) 码长码字

符号概率概率xi x1 x2 x3 x4 x5 x6 x7 x8 信源符号xi x1 1/2 x2 1/4 x3 1/8 x4 1/16 x5 1/32 1 符号第概率一pi 次分0 第二次分 0 第三次分 0 1 1 第四次分 0 1 第五次分 0 pi 1/2 1/4 1/8 Pi 0 0.5 1 2 Ki 1 2 3 4 5 6 7 7 0 10 110 1110 11110 111110 1111110 11111110 0.75 3 1/16 0.875 4 1/32 0.938 5 1/64 0.969 6 1/128 0.984 7 1/128 0.992 7 相应的费诺码

第第二元码 六七次次分分 0 10 110 1110 11110 组 组 组 组 组 组 组

x6 1/64 x7 1/128 x8 1/128

（5）香农码和费诺码相同 平

均

码1 0 1 111110 0 1111110 1 11111110 长

为

编码效率为： 5-11

（1）信源熵

（2）香农编码：

信源符号累加-Logp(xi) 码长码字 符号概率概率xi x1 x2 x3 x4 x5 pi Pi 1.644 2 3 3 3 4 00 010 100 101 1110 0.32 0 Ki 0.22 0.32 2.184 0.18 0.54 2.474 0.16 0.72 2.644 0.08 0.88 3.644

x6

0.04 0.96 4.644 5 11110 平均码长：

编码效率为

（3） 费诺编码为

信源符号xi x1 0.32 x2 0.22 x3 0.18 x4 0.16 x5 0.08 x6 0.04

平均码长为：编码效率：

1 0 0 1 0 0 1 1 00 01 10 110 2 2 2 3 符号概率pi 1 2 3 4 编码 码长 0 1110 4 1 1111 4

（4）哈夫曼编码 信源符号符号概率xi x1 x2 x3 x4 x5 x6

平均码长为：

编码效率：

5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用

式（4.129）对序列11111100编算术码，并计算此序列的平均码长。

解：根据算术编码的编码规则，可得：

pi 32 22 18 16 12 0.04 38 32 22 18 0010 0011 4 4 40 38 32 000 3 60 2 2 40 11 编码过程 编码码 长 2 0.32 0. 0. 0. 0. 1 01 0.22 0. 0. 0. 0. 10 0.18 0. 0. 0. 0.16 0. 0. 0.08 0.

P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2 根据（4.129）可得：

F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110)

= 1–P(y)= 1 – P(11111111) –

ys1llog7 P(S)P(11111110) – P(11111101) – P(11111100)

= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111

又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010

即得C = 0.1101010 得S的码字为1101010 平均码长L为 0.875。 欢迎下载！