第 1 章 绪论 1
1.1 信息的概念 1
1.1.1 信息科技促使人们对信息概念进行更深刻的剖析与理解 1
1.1.2 信息是特定信息场景中的“信息” 2
1.1.3 信息的基本属性 4
1.1.4 信息的香农定义与维纳定义 6
1.2 信息论的研究内容 6
1.2.1 信息度量、信息熵与消息 7
1.2.2 信息表征与数据压缩 9
1.2.3 信息传输、信道容量、调制与编码 11
1.2.4 信息安全、加密与认证 13
1.3 从“香农贡献”洞悉信息科技 15
1.3.1 香农的信息科技创新贡献 15
1.3.2 香农培养的后起之秀与留存后世的至理名言 16
1.4 从香农奖看信息论的发展历程 17
习题 20
第 2 章 信源及其熵 21
2.1 信源与信息度量的基本概念 21
2.2 信息量与熵 22
2.2.1 信息量 22
2.2.2 熵 24
2.2.3 熵的基本性质 31
2.3 互信息量与平均互信息量 36
2.3.1 互信息量 36
2.3.2 平均互信息量 38
2.4 离散信源的熵 42
2.4.1 单符号离散信源的熵 42
2.4.2 多符号离散信源的熵 42
2.4.3 马尔可夫信源的熵 43
2.4.4 离散信源的时间熵 47
2.5 连续信源的熵 48
2.5.1 单符号连续信源的熵 48
2.5.2 连续信源的熵的性质 54
2.5.3 多符号连续信源的熵 57
2.5.4 熵功率 58
2.6 信息论不等式及其应用 60
2.6.1 对数和不等式及其应用 60
2.6.2 数据处理不等式 62
2.6.3 数据处理定理 62
2.6.4 费诺不等式 63
习题 65
第 3 章 信道及其信道容量 70
3.1 信道及其信道容量的基本概念 70
3.1.1 信道的数学模型及其分类 70
3.1.2 信道容量的定义 71
3.2 单符号离散信道及其信道容量 72
3.2.1 特殊的单符号离散信道及其信道容量 73
3.2.2 对称离散信道及其信道容量 74
3.2.3 准对称离散信道及其信道容量 77
3.2.4 一般离散无记忆信道及其信道容量 79
3.3 多符号离散信道及其信道容量 82
3.3.1 多符号离散信道的数学模型 82
3.3.2 多符号离散信道的信道容量 83
3.3.3 离散无记忆信道的 N 次扩展信道的信道容量 83
3.3.4 独立并联信道的信道容量 86
3.3.5 串联信道的信道容量 86
3.4 连续信道及其信道容量 89
3.4.1 单符号连续信道及其信道容量 89
3.4.2 多符号无记忆高斯加性信道及其信道容量 90
3.4.3 限带高斯白噪声加性波形信道及其信道容量 91
3.5 MIMO 信道和多址接入信道及其信道容量 93
3.5.1 MIMO 信道及其信道容量 93
3.5.2 多址接入信道及其信道容量 95
习题 97
第 4 章 率失真函数 99
4.1 率失真函数的基本概念 99
4.1.1 试验信道 99
4.1.2 率失真函数的定义 102
4.1.3 率失真函数的性质 105
4.2 离散信源的率失真函数 107
4.2.1 离散信源的率失真函数的一般形式 107
4.2.2 二元信源和等概率信源的率失真函数 110
4.3 连续信源的率失真函数 114
4.3.1 连续信源的率失真函数的一般形式 114
4.3.2 高斯信源的率失真函数 116
习题 117
第 5 章 信源编码 120
5.1 异前置码与无失真信源编码定理 120
5.1.1 异前置码 120
5.1.2 无失真信源编码定理 123
5.2 经典无失真信源编码 124
5.2.1 霍夫曼码 125
5.2.2 费诺码 127
5.2.3 香农-费诺-埃利斯码 129
5.2.4 算术码 130
5.3 限失真信源编码定理 132
5.4 限失真信源编码方法 133
5.4.1 量化编码 134
5.4.2 相关信源编码 138
5.4.3 JPEG 图像编码 143
5.4.4 H.264/AVC 视频编码 146
习题 147
第 6 章 信道编码 150
6.1 信道编码与差错控制 150
6.1.1 信道编码的基本概念 150
6.1.2 最大似然译码准则 153
6.1.3 译码模式与纠检错能力 156
6.1.4 差错控制方式 158
6.1.5 信道编码的发展历程 159
6.2 有噪信道编码定理 160
6.2.1 有噪信道编码定理概述 160
6.2.2 信道编码设计的基本原理 162
6.2.3 编码系统的性能度量 163
6.3 线性分组码 167
6.3.1 线性分组码的矩阵描述 167
6.3.2 线性分组码的译码 171
6.3.3 汉明码 174
6.3.4 循环码 177
6.4 卷积码 185
6.4.1 卷积码的基本概念 185
6.4.2 卷积码的描述 188
6.4.3 卷积码的 Viterbi 译码 196
6.5 Turbo 码 203
6.5.1 Turbo 码编码方法 203
6.5.2 Turbo 码译码算法 206
6.6 LDPC 码 210
6.6.1 LDPC 码的基本概念 210
6.6.2 LDPC 码的构造方法 212
6.6.3 LDPC 码的编码方法 214
6.6.4 LDPC 码的译码算法 216
6.7 极化码 218
6.7.1 极化码的基本概念与信道极化 218
6.7.2 极化信道的可靠性度量 222
6.7.3 极化码的编码方法 223
6.7.4 极化码的译码算法 224
6.8 信道编码的应用设计 227
6.8.1 码的速率匹配设计 227
6.8.2 码的组合构造方法 228
习题 229
第 7 章 保密编码 233
7.1 密码通信的基本模型 233
7.1.1 通信模型 233
7.1.2 密码体制的基本要求 235
7.1.3 常见威胁 236
7.1.4 保密系统的安全性测度 238
7.2 古典密码 239
7.2.1 单表密码 239
7.2.2 多表密码 243
7.2.3 换位密码 245
7.2.4 线性反馈移位寄存器密码 248
7.2.5 序列密码和分组密码 251
7.3 数据加密标准 DES 252
7.3.1 DES 算法基本原理 252
7.3.2 DES 算法运算过程 253
7.3.3 DES 算法的弱点 257
7.4 数据加密标准 AES 257
7.4.1 AES 的数学基础 258
7.4.2 AES 加密过程 259
7.4.3 AES 解密过程 260
7.5 公开密钥密码体制 RSA 260
7.5.1 非对称加密算法 260
7.5.2 RSA 算法描述 261
7.6 现代密码学的研究趋势 262
7.6.1 公开密钥密码 262
7.6.2 分组密码 263
7.6.3 序列密码 263
7.6.4 杂凑函数 264
7.6.5 量子密码 265
习题 265
附录 预备知识 267
附录 A 概率论基本公式 267
附录 B 有限域 267
B.1 群 267
B.2 域 268
B.3 二元域上的多项式 27