课堂测验

使用说明：

• 推荐使用 Anki 软件，辅助记忆
• 一定要自行创建问题卡片，并搜集和整理答案
• 在能够理解答案，并能独立动手操作的前提下，再去记忆
• 按照课程进度，添加新的问题卡片
• 每天利用碎片化时间，根据 Anki 提示，复习卡片
• 问题如果有歧义或有其他任何问题，欢迎留言

1. 前言

1. 什么是信息科学？
2. 信息科学研究的是信息过程的哪些运动规律？
3. 信息科学的方法论包括哪些方法和准则？
4. 全部信息形成的有机整体是什么？
5. 信息科学的基础是哪三大理论？
6. 三大理论创立的时间以及作者分别是什么？
7. 三大理论的共同特点是什么？
8. 如何理解信息与计算科学？
9. 如何理解信息技术与信息科学的关系？
10. 如何理解信息科学与信息理论的关系？
11. 现代科学的三大支柱是什么？

2. 绪论

1. 信息的本体论定义是什么？
2. 信息的认识论定义是什么？
3. 认识论定义中考虑信息的哪三个方面？
4. 认识论定义中信息分哪三种？
5. 信息论研究的是什么信息？
6. 信息有哪些特征？（举出三个）
7. 信息有哪些性质？（举出三个）
8. 信息、消息和信号的区别是什么？
9. 人类利用信息的历史有哪几个里程碑？
10. 信息论创立的时间、作者以及标志是什么？
11. 描述组成通信系统模型的各个组成部分及其作用。
12. 能够画出通信系统模型图（简单的和复杂的）。
13. 信息论的研究范畴分哪几类？
14. 狭义信息论研究的内容是什么？

3. 信息的统计度量

3.1. 自信息量

1. 信息量大小是间接度量的，用什么表示信息量的大小？
2. 不确定度是用什么数学工具描述的？
3. 不确定度和概率之间的关系是什么？（也就是说概率越大，不确定度怎样，信息量怎样？）
4. 自信息量的公式是什么？自信息量是谁的函数？
5. 自信息量的单位是什么？
6. 联合自信息量和条件自信息量的公式分别是什么？
7. 自信息量的五个性质分别是什么？它们的含义是什么？（要求会证明）

3.2. 互信息量

1. 流经信道的信息量是如何度量的？
2. 互信息量的公式是什么？
3. 互信息量的含义是什么？
4. 互信息量的三个表达形式是什么？
5. 联合互信息量和条件互信息量的公式分别是什么？
6. 互信息量的性质分别是什么？分别说明它们的含义。

3.3. 熵

1. 信源发出符号的信息量从整体上如何度量？
2. 算术平均数和加权平均数的公式分别是什么？
3. 熵的公式是什么？熵函数是谁的函数，它是几元函数？
4. 熵的含义是什么？
5. 联合熵和条件熵的公式分别是什么？
6. 熵的性质分别是什么？分别说明它们的含义。

3.4. 平均互信息量

1. 平均互信息量的定义是什么？
2. 平均互信息量的含义是什么？
3. 条件、联合平均互信息量的公式是什么？
4. 平均互信息量的性质是什么？
5. 平均互信息量是谁的函数？

3.5. 相对熵

1. 相对熵的定义是什么？
2. 相对熵的含义是什么？
3. 条件、联合相对熵的公式是什么？
4. 相对熵的性质是什么？
5. 信息统计度量中各信息量概念之间的关系是什么？

4. 离散信源

1. 信源分几大类，每一大类又有哪些分支？
2. 每一类信源它们的数学模型分别是什么？
3. 什么是平稳信源，什么是有记忆信源？
4. 离散无记忆信源的N次扩展信源熵是多少？
5. N此扩展信源熵的物理含义是什么？
6. 平均符号熵的定义是什么？含义是什么？
7. 极限熵的定义是什么？含义是什么？
8. 有记忆信源熵是什么？

5. 离散信道

1. 信道有几种分类方式，每种分类方式又分几类？不同类型的含义是什么？
2. 信道的特征是什么？数学模型怎么表示？
3. BSC、BEC分别是什么？信道转移图和转移矩阵如何？
4. 信道容量的定义是什么？信道容量求解的本质是什么？
5. 平均互信息量关于信源概率分布和信道转移概率这两个参数的函数表达式是什么？
6. 无噪无损信道的容量是多少？达到信道容量时，信源概率分布满足什么条件？
7. 有噪无损信道的容量是多少？达到信道容量时，信源概率分布满足什么条件？有损无噪信道又如何？
8. 特殊离散信道分几大类？每一类又有几种分类？
9. 每种特殊有干扰信道的转移矩阵有什么特点？
10. 每种特殊有干扰信道的容量如何计算？
11. 达到信道容量时，信源的概率分布怎样？
12. 一般单符号离散信道容量求解的数学本质是什么？
13. 平均互信息函数达到极大值时，信源概率分布应该满足的条件是什么？
14. 一般单符号离散信道容量求解的步骤是什么？
15. 一般单符号离散信道容量求解方法的局限是什么？
16. 多符号离散信道的数学模型是什么？
17. 独立并联信道的数学模型是什么？
18. 串联信道的数学模型是什么？
19. 多符号离散信道无记忆的充要条件是什么？
20. 离散无记忆扩展信道的容量是多少？
21. 独立并联信道的容量是多少？
22. 串联信道的数量和信道容量的关系是什么？

6. 信源编码

1. 编码的本质是什么？
2. 香农三定理是什么？
3. 通信系统的三个性能指标是什么？
4. 提高这三个性能指标的手段是什么？
5. 描述编码器的概念。
6. 解释二元码、定长码、变长码、奇异码、非奇异码、同价 码、码的N次扩展码、唯一可译码、即时码、分组码、码 字前缀、码树。
7. 能够用码树描述以上编码概念的差异。
8. 唯一可译码的充分必要条件是什么？
9. 什么是渐进等分割性AEP？
10. 典型序列集和非典型序列集的定义是什么？
11. 定长信源编码定理的内容是什么？
12. 深入理解定长信源编码定理的含义。
13. Kraft不等式是什么？McMillan不等式是什么？
14. 唯一可译码的判别准则是什么？
15. 变长信源编码定理的内容是什么？
16. 深入理解变长信源编码定理的含义。