- 2.1.1 课程概述
- 2.2.1 信息是什么
- 2.3.1 信息论产生的背景
- 2.4.1 信息论的贡献
- 2.5.1 香农其人其事
- 3.1.1 随机变量的自信息
- 3.1.2 信息熵的定义
- 3.1.3 信息熵形式的唯一性
- 3.1.4 信息熵形式的唯一性(续)
- 3.1.5 联合熵
- 3.1.6 条件熵
- 3.1.7 信息熵的性质
- 3.2.1 互信息的定义
- 3.2.2 互信息的基本性质
- 3.3.1 鉴别信息
- 3.4.1 凸集与凸函数
- 3.4.2 Jenson不等式与对数求和不等式
- 3.4.3 鉴别信息的凸性
- 3.4.4 熵的凸性
- 3.4.5 互信息的凸性
- 3.5.1 Fano不等式与数据估计
- 3.6.1 连续随机变量的熵和互信息
- 4.1.1 渐进等同分割性质
- 4.2.1 定长编码定理
- 4.3.1 码的类型
- 4.4.1 前缀码约束条件-Kraft不等式
- 4.5.1 Huffman编码及其最优性
- 5.1.1 信道容量的定义和性质
- 5.2.1 简单的离散信道容量
- 5.2.2 对称信道
- 5.2.3 一般离散无记忆信道的容量
- 5.3.1 信道的组合
- 5.4.1 容量—费用函数
- 5.4.2 连续无记忆加性噪声信道
- 5.4.3 并联高斯信道
- 5.5.1 模拟信道容量
- 5.6.1 基本概念
- 5.6.2 重复码
- 5.6.3 码率—误差概率关系
- 5.6.4 联合典型性
- 5.6.5 香农第二定理的证明
- 6.1.1 问题的提出
- 6.2.1 率失真理论的基本概念
- 6.3.1 率失真函数的性质
- 6.4.1 率失真函数的计算
- 6.5.1 定理内容
- 6.5.2 率失真定理的逆命题
- 6.5.3 失真典型序列
- 6.5.4 率失真函数的可达性Ⅰ
- 6.5.5 率失真函数的可达性Ⅱ
- 7.1.1 最大熵原理与最小鉴别信息原理
- 8.1.1 复习提纲
信息论是一门很安静的学问。自1948年香农发表划时代的论文“通信的数学原理”以来,他开创的以信息度量体系、信源和信道模型和典型性作为基础的范式就一直统治着这个理论研究的王国。虽然历经了60余年,信息论研究由经典的点到点模型拓展到多用户场景,并产生了诸多问题上的演进,但是基本的数学方法却一直保持了良好的一致性。从这个意义上来说,信息论有着自己的研究格调和“方法论”。作为统计数学的一个分支,信息论圈子更像一个数学研究者的社区,学者们也在数学证明的精妙细节中体验着纯学术的乐趣。