信息论A答案

山 西 师 范 大 学 2012——2013 学 年 第 一 学 期 期 末 考 试 试 题 （A卷） 密 封 线 密 封 线 以 内 不 准 作 任 何 标 记 密 封 线 山西师范大学期末考试答案及评分标准 2012—2013学年第一学期 院系：___数计____ 专业：___信息与计算科学____ 考试科目：_信息论_ 试卷号： A 卷 1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：
　　　　 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有
，
。说明经数据处理后，一般只会增加信息的损失。 2.简述信息的特征。 答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。 信息是可以量度的，信息量有多少的差别。 3. 什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 4. 将H（X|Y）称为信道
的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr。 将H（Y|X）称为信道
的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs。 5. 简述哈夫曼编码的步骤 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) 取两个概率最小的符号分别配以0和1，并将这两个概率相加作为一个新符号的概率，与未分配码元的符号重新排队。 对重排后的两个概率最小符号重复步骤2的过程。 继续上述过程，直到最后两个符号配以0和1为止。 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。 （二）计算题 1. 证明：
（5）  （5） 2. 解：(1) （2）
→
（4） H(X|S1) =H(1/4,1/4,1/2)=1.5比特/符号 H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号 H(X|S3)=H(2/3,1/3)= 0.918比特/符号 （4）
比特/符号 （2） 3. 二进制哈夫曼码： xi p(xi) 编码 码字 ki s6　 　 1 　 　 s5 　 0.61 0 　 　 s4 　 0.39 　 1 　 　 s3 　 0.35 　 0 　 　 　 s2 　 0.26 　 　 1 　 　 　 x1 0.2 　 　 　 0 　 10 2 x2 0.19 　 　 　 1 　 11 2 x3 0.18 　 　 0 　 000 3 x4 0.17 　 　 1 　 001 3 x5 0.15 　 0 　 010 3 s1 　 0.11 1 　 　 　 x6 0.1 0 　 0110 4 x7 0.01 1 　 　 　 　 　 0111 4
4