学海网

2份北方民族大学《信息理论及编码》试卷及答案
一、简答题（每小题6分，共30分）
1、什么是平均自信息（信源熵）与平均互信息。
2、简述无失真变长信源编码定理。
3、简述最大离散熵定理，并说明对于一个有个符号的离散信源，其最大熵是多少？
4、简述费诺码的编码步骤。
5、什么是汉明距离？两个二元序列，求其汉明距离。
二、判断题（每小题2分，共10分）
1、信息是事物运动状态或存在方式的不确定性的描述。 （ ）
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。 （ ）
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。 （ ）
4、二元霍夫曼码一定是最佳即时码。 （ ）
5、平均互信息一定有极大值。 （ ）
三、计算题（每小题10分，共40分）
1、某二元无记忆信源，有，求：（1）某一信源序列由100个二元符号组成，其中有个“1”，求此序列的自信息量。（2）求100个符号构成的信源序列的熵。

一、概念简答题（每小题6分，共30分）
1、比较平均自信息（信源熵）与平均互信息的异同。
2、简述香农第一定理。
3、简述唯一可译变长码的判断方法？
4、简述最大离散熵定理。
5、什么是汉明距离；两个二元序列，求其汉明距离。
二、判断题（每小题2分，共10分）
1、信息是事物运动状态或存在方式的不确定性的描述。 （ ）
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。 （ ）
3、二元霍夫曼码一定是最佳即时码。 （ ）
4、单符号离散信源的自信息和信源熵都是一个确定值。 （ ）
5、平均错误概率只与译码准则有关系。 （ ）
三、计算题（每小题10分，共40分）
1、设离散无记忆信源。该信源发出的消息为，求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的自信息是多少？