整理信息论答案

12.19 每帧电视图像可以认为是由3(105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)
2)
3)
3.2 设二元对称信道的传递矩阵为
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1)
2)
3.6 有一个二元对称信道，其信道矩阵为
。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？ 解：信道容量计算如下：
也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：
现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是
要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 3.14 试求以下各信道矩阵代表的信道的容量： (1) [P] =
(2) [P] =
(3)[P]=
解：1)这个信道是一一对应的无干扰信道
2)这个信道是归并的无干扰信道 EMBED Equation.3
 3)这个信道是扩展的无干扰信道 EMBED Equation.3
 5.1 设信源EMBED Equation.3
 (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解：(1)
(2) xi p(xi) pa(xi) ki 码字 x1 0.2 0 3 000 x2 0.19 0.2 3 001 x3 0.18 0.39 3 011 x4 0.17 0.57 3 100 x5 0.15 0.74 3 101 x6 0.1 0.89 4 1110 x7 0.01 0.99 7 1111110 (3)
5.3 对信源
编二进制和三进制哈夫曼码，计