北航三版信息科学基础答案第3章 离散信源

Xx10x21x32x43 P(X)3/81/41/41/8该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。

求：

(1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？

解： (1)

此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：

311p

848 bit 此消息的信息量是：Ilogp87.811

(2)

此消息中平均每符号携带的信息量是：I/n87.811/451.951 bit

142563.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为

1X0P(X)1/43/4

(1) 求信息符号的平均熵；

(2) 由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

1331H(X)p(xi)logp(xi)loglog0.811 bit

4444i

(2)

13p(xi)44m100m3100m1004341.51.585m bit4100100m

I(xi)logp(xi)log(3)

H(X100)100H(X)1000.81181.1 bit

3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。

题表 3.2

· 1 ·

信源 u0 1/2 0 u1 1/4 10 u2 1/8 110 u3 1/8 111 p 代码 (1) 求信息的符号熵； (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵；

(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率p0和p1，求相邻码间的条件概率p0/1、p1/0、p1/1、p0/0。

解： (1)

11111111H(X)p(xi)logp(xi)loglogloglog1.75 bit

24488882i

(2)

111112331.752488i

11HN(X)H(X)H(X)1 bitNLLE(li)p(xi)li

(3)

设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N/8, N/8个。

NNNN7N1110 24888NNNN7N而1的个数为0123

24888则0的个数为因而p0p10.5

p0/1p1/011p10/p14 p0/0p00/p012211221 p01/p1 p1/1p11/p112211221122 141122

3.7 设有一个信源，它产生0，1序列的信息。该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的；

· 2 ·

(2) 试计算H(X2), H(X3/X1X2)及H∞；

(3) 试计算H(X4)并写出X4信源中可能有的所有符号。

解： (1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……” ．．．．．．．．．．．．．．． (2)

H(X2)2H(X)2(0.4log0.40.6log0.6)1.942 bitH(X3/X1X2)H(X3)p(xi)logp(xi)(0.4log0.40.6log0.6)0.971 bit

iHlimH(XN/X1X2...XN1)H(XN)0.971 bitN (3)

H(X4)4H(X)4(0.4log0.40.6log0.6)3.884 bitX4的所有符号：0000000100100011010001010110011110001001101010111100110111101111

3.11 有一马尔可夫信源，已知转移概率为p(S1/S1)2/3，p(S2/S1)1/3，p(S1/S2)1，

p(S2/S2)0。试画出状态转移图，并求出信源熵。

解：

p(S1)p(S1)p(S1/S1)p(S2)p(S1/S2)p(S2)p(S2)p(S2/S2)p(S1)p(S2/S1)2p(S)p(S1)p(S2)13p(S2)1p(S1)31p(S)p(S1)23p(S1)p(S2)1p(S1)3/4 p(S2)1/4Hp(Si)p(Sj/Si)logp(Sj/Si)ij2/3S11S2231132 loglog343343 0.689 bit

1/3· 3 ·

3.21黑白传真机的信息元只有黑色和白色两种X={黑，白}，一般气象图上黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7，黑白消息前后没有关联，其转移概率为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8。求该一阶马尔可夫信源的不确定性H(X/X)，并画出该信源的状态转移图。

解：

p(S1)p(S1)p(S1/S1)p(S2)p(S1/S2)p(S2)p(S2)p(S2/S2)p(S1)p(S2/S1)p(S1)0.8p(S1)0.1p(S2)p(S2)0.9p(S2)0.2p(S1)p(S2)2p(S1)p(S1)p(S2)1p(S1)1/3p(S2)2/3Hp(Si)p(Sj/Si)logp(Sj/Si)ijp(黑/黑)=0.8黑S1p(白/黑)=0.2

p(白/白)=0.1白S21221 0.8log0.80.2log0.20.1log0.10.9log0.93333 0.553 bit

p(白/白)=0.93.23 设信源产生A, B, C三种符号p(B/B)1/2，p(A/B)p(C/B)1/4，p(A/A)5/8，

p(B/A)1/4，p(C/A)1/8，p(C/C)5/8，p(B/C)1/4，p(A/C)1/8。试计算冗余

度。

解：

5/8C1/4B1/21/41/4A5/81/481/511p(s)p(s)p(s)p(sC)AAB848111p(s)p(s)p(s)p(sC) BAB424115p(s)p(s)p(s)p(sC)CAB848 · 4 ·

81/

p(sA)p(sB)p(sC)p(sA)p(sB)p(sC)1p(sA)1/3p(sB)1/3p(sC)1/3333Hp(ei)p(ej/ei)logp(ej/ei)ijk 1538log5111111834logp438log8 1314log1411111132log234log4 1111111538log834log5438log8 1.366 bitR1HH11.3660.138

0log3

3.26 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}(1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。

a1=3/4a2=2/3Sa2=1/41S2a31/=11=/4a3S3a3=3/4解： (1)

p(s1)3p(s11)p(s3)44p(s212)p(s2)p(s341)

13p(s3)3p(s2)4p(s3)

。

· 5 ·

p(s1)p(s3)3p(s)p(s1)24

p(s)4/111p(s2)3/11p(s)4/113(2)

Hp(ei)p(ej/ei)logp(ej/ei)ijk333341143 loglog41144114322311 loglog11331133411433 loglog11441144 0.840 bit

· 6 ·