- 电子工业出版社
- 9787121516849
- 1-1
- 568462
- 平塑
- 16开
- 2025-11
- 518
- 324
- 工学
- 电子信息类
- 电子信息与电气
- 本科 研究生及以上
内容简介
本书重点介绍了香农信息论和编码理论的基本原理及其应用。在保持一定理论深度的基础上，尽可能简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用；叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性的统一。 本书共8章，内容包括绪论、离散信源及其信息度量、离散信道及其信道容量、连续信源和连续信道、无失真信源编码、有噪信道编码、限失真信源编码和网络信息论初步。
目录
目 录
第1章 绪论 1
1.1 信息的概念 1
1.1.1 什么是信息 1
1.1.2 如何度量信息 2
1.2 信息传输系统模型 4
1.3 信息论的研究内容 7
1.3.1 基本信息论的研究内容 7
1.3.2 一般信息论的研究内容 7
1.3.3 广义信息论的研究内容 8
1.4 信息论和编码理论的形成和发展 8
习题 10
第2章 离散信源及其信息度量 12
2.1 离散信源的分类 12
2.2 离散信源的统计特性 13
2.2.1 单符号离散信源的统计特性 13
2.2.2 多符号离散信源的统计特性 13
2.3 离散随机变量的信息度量 14
2.3.1 自信息和信息熵 14
2.3.2 联合自信息和联合熵 19
2.3.3 条件自信息和条件熵 22
2.3.4 各类熵之间的关系 24
2.4 离散信源的N次扩展信源 27
2.4.1 离散信源的N次扩展信源的熵 27
2.4.2 离散无记忆信源的N次扩展信源的熵 28
2.5 离散平稳信源 29
2.5.1 离散平稳信源的数学定义 29
2.5.2 有限维离散平稳信源的条件熵 31
2.5.3 二维离散平稳信源的N次扩展信源的平均符号熵 32
2.5.4 离散平稳信源的极限熵 33
2.5.5 计算极限熵的处理方法 36
2.6 马尔可夫信源 37
2.6.1 m阶马尔可夫信源的描述 37
2.6.2 齐次遍历马尔可夫信源 39
2.6.3 齐次遍历马尔可夫信源的极限熵 42
2.7 离散信源的相关性和剩余度 46
本章小结 48
习题 50
第3章 离散信道及其信道容量 57
3.1 离散信道的分类 57
3.2 离散信道的数学模型 58
3.2.1 单符号离散信道的数学模型 58
3.2.2 多符号离散信道的数学模型 61
3.3 离散随机变量的互信息和平均互信息 63
3.3.1 互信息的定义 63
3.3.2 互信息的性质 64
3.3.3 平均互信息的定义 65
3.3.4 平均互信息的性质 66
3.3.5 平均互信息与各类熵之间的关系 69
3.3.6 平均联合互信息和平均条件互信息 70
3.4 信道容量的定义 72
3.4.1 信息传输率和信息传输速率 72
3.4.2 信道容量 73
3.5 单符号离散信道及其信道容量 75
3.5.1 典型信道的信道容量 75
3.5.2 串联信道及其信道容量 79
3.5.3 信息处理定理 80
3.5.4 一般离散信道的信道容量 81
3.6 多符号离散信道及其信道容量 89
3.6.1 多符号离散信道的平均互信息 89
3.6.2 离散无记忆信道的信道容量 89
3.6.3 独立并联信道及其信道容量 90
3.7 信源与信道的匹配 91
本章小结 92
习题 93
第4章 连续信源和连续信道 99
4.1 连续信源的分类和统计特性 99
4.1.1 连续信源的分类 99
4.1.2 连续信源的统计特性 99
4.2 连续随机变量的信息度量 101
4.2.1 连续随机变量的熵 102
4.2.2 连续随机变量的平均互信息 104
4.3 连续信源的信息度量 105
4.3.1 单符号连续信源的熵 106
4.3.2 多符号连续信源的熵 106
4.3.3 波形信源的熵率 108
4.4 连续信源的最大熵 108
4.4.1 瞬时功率受限的连续信源 109
4.4.2 平均功率受限的连续信源 110
4.4.3 连续信源的熵功率 111
4.5 连续信源熵的变换 112
4.6 连续信道和波形信道的分类 114
4.6.1 连续信道的分类 114
4.6.2 波形信道的分类 115
4.7 连续信道的平均互信息 116
4.7.1 连续信道 116
4.7.2 加性信道 117
4.8 连续信道的信道容量 119
4.8.1 一维高斯加性信道 119
4.8.2 多维无记忆高斯加性信道 120
4.9 波形信道的信道容量 122
4.9.1 限带AWGN信道的容量 122
4.9.2 香农公式的讨论 124
本章小结 126
习题 127
第5章 无失真信源编码 131
5.1 信源编码的基本概念 131
5.1.1 信源编码的数学模型 131
5.1.2 信源编码的分类 132
5.1.3 唯一可译码和即时码 133
5.1.4 编码效率 136
5.2 无失真信源编码定理 138
5.2.1 无失真定长信源编码定理 139
5.2.2 无失真变长信源编码定理 144
5.3 常见的无失真信源编码方法 145
5.3.1 香农（Shannon）码 146
5.3.2 霍夫曼（Huffman）码 147
5.3.3 费诺（Fano）码 155
5.3.4 香农-费诺-埃利斯码 156
5.3.5 算术码 158
5.3.6 LZ码 162
本章小结 164
习题 166
第6章 有噪信道编码 170
6.1 错误概率 170
6.1.1 错误概率和译码规则 170
6.1.2 错误概率和编码方法 174
6.2 有噪信道编码定理 175
6.3 联合信源信道编码定理 178
6.4 信道编码的基本概念 179
6.4.1 信道编码的分类 180
6.4.2 线性分组码的检错和纠错能力 180
6.4.3 最小汉明距离译码准则 182
6.4.4 差错控制的三种方式 184
6.4.5 差错控制的途径 184
6.5 线性分组码 185
6.5.1 线性分组码的编码 186
6.5.2 线性分组码的译码 192
6.5.3 完备码和汉明码 197
6.5.4 对偶码 199
6.5.5 扩展码、缩短码和删信码 199
6.6 循环码 201
6.6.1 循环码的码多项式 202
6.6.2 循环码的生成多项式和生成矩阵 203
6.6.3 循环码的监督多项式和监督矩阵 207
6.6.4 循环码的编码电路 209
6.6.5 循环码的伴随式 211
6.6.6 循环码的译码电路 214
6.6.7 CRC码 217
6.7 BCH码和RS码 218
6.7.1 有限域的基本知识 218
6.7.2 二元BCH码 227
6.7.3 多元BCH码和RS码 232
6.8 卷积码 234
6.8.1 卷积码的解析表示 234
6.8.2 卷积码的图形描述 240
6.8.3 卷积码的译码方法 242
6.8.4 卷积码的特性 244
6.8.5 删余卷积码 245
6.8.6 递归型系统卷积码 246
6.9 交织码 247
6.10 级联码 249
6.11 接近香农极限的信道编码 250
6.11.1 Turbo码 250
6.11.2 LDPC码 251
6.11.3 极化码 252
6.12 基于性能指标要求下的信道编码方案选择 253
本章小结 255
习题 257
第7章 限失真信源编码 261
7.1 失真测度 261
7.1.1
第1章 绪论 1
1.1 信息的概念 1
1.1.1 什么是信息 1
1.1.2 如何度量信息 2
1.2 信息传输系统模型 4
1.3 信息论的研究内容 7
1.3.1 基本信息论的研究内容 7
1.3.2 一般信息论的研究内容 7
1.3.3 广义信息论的研究内容 8
1.4 信息论和编码理论的形成和发展 8
习题 10
第2章 离散信源及其信息度量 12
2.1 离散信源的分类 12
2.2 离散信源的统计特性 13
2.2.1 单符号离散信源的统计特性 13
2.2.2 多符号离散信源的统计特性 13
2.3 离散随机变量的信息度量 14
2.3.1 自信息和信息熵 14
2.3.2 联合自信息和联合熵 19
2.3.3 条件自信息和条件熵 22
2.3.4 各类熵之间的关系 24
2.4 离散信源的N次扩展信源 27
2.4.1 离散信源的N次扩展信源的熵 27
2.4.2 离散无记忆信源的N次扩展信源的熵 28
2.5 离散平稳信源 29
2.5.1 离散平稳信源的数学定义 29
2.5.2 有限维离散平稳信源的条件熵 31
2.5.3 二维离散平稳信源的N次扩展信源的平均符号熵 32
2.5.4 离散平稳信源的极限熵 33
2.5.5 计算极限熵的处理方法 36
2.6 马尔可夫信源 37
2.6.1 m阶马尔可夫信源的描述 37
2.6.2 齐次遍历马尔可夫信源 39
2.6.3 齐次遍历马尔可夫信源的极限熵 42
2.7 离散信源的相关性和剩余度 46
本章小结 48
习题 50
第3章 离散信道及其信道容量 57
3.1 离散信道的分类 57
3.2 离散信道的数学模型 58
3.2.1 单符号离散信道的数学模型 58
3.2.2 多符号离散信道的数学模型 61
3.3 离散随机变量的互信息和平均互信息 63
3.3.1 互信息的定义 63
3.3.2 互信息的性质 64
3.3.3 平均互信息的定义 65
3.3.4 平均互信息的性质 66
3.3.5 平均互信息与各类熵之间的关系 69
3.3.6 平均联合互信息和平均条件互信息 70
3.4 信道容量的定义 72
3.4.1 信息传输率和信息传输速率 72
3.4.2 信道容量 73
3.5 单符号离散信道及其信道容量 75
3.5.1 典型信道的信道容量 75
3.5.2 串联信道及其信道容量 79
3.5.3 信息处理定理 80
3.5.4 一般离散信道的信道容量 81
3.6 多符号离散信道及其信道容量 89
3.6.1 多符号离散信道的平均互信息 89
3.6.2 离散无记忆信道的信道容量 89
3.6.3 独立并联信道及其信道容量 90
3.7 信源与信道的匹配 91
本章小结 92
习题 93
第4章 连续信源和连续信道 99
4.1 连续信源的分类和统计特性 99
4.1.1 连续信源的分类 99
4.1.2 连续信源的统计特性 99
4.2 连续随机变量的信息度量 101
4.2.1 连续随机变量的熵 102
4.2.2 连续随机变量的平均互信息 104
4.3 连续信源的信息度量 105
4.3.1 单符号连续信源的熵 106
4.3.2 多符号连续信源的熵 106
4.3.3 波形信源的熵率 108
4.4 连续信源的最大熵 108
4.4.1 瞬时功率受限的连续信源 109
4.4.2 平均功率受限的连续信源 110
4.4.3 连续信源的熵功率 111
4.5 连续信源熵的变换 112
4.6 连续信道和波形信道的分类 114
4.6.1 连续信道的分类 114
4.6.2 波形信道的分类 115
4.7 连续信道的平均互信息 116
4.7.1 连续信道 116
4.7.2 加性信道 117
4.8 连续信道的信道容量 119
4.8.1 一维高斯加性信道 119
4.8.2 多维无记忆高斯加性信道 120
4.9 波形信道的信道容量 122
4.9.1 限带AWGN信道的容量 122
4.9.2 香农公式的讨论 124
本章小结 126
习题 127
第5章 无失真信源编码 131
5.1 信源编码的基本概念 131
5.1.1 信源编码的数学模型 131
5.1.2 信源编码的分类 132
5.1.3 唯一可译码和即时码 133
5.1.4 编码效率 136
5.2 无失真信源编码定理 138
5.2.1 无失真定长信源编码定理 139
5.2.2 无失真变长信源编码定理 144
5.3 常见的无失真信源编码方法 145
5.3.1 香农（Shannon）码 146
5.3.2 霍夫曼（Huffman）码 147
5.3.3 费诺（Fano）码 155
5.3.4 香农-费诺-埃利斯码 156
5.3.5 算术码 158
5.3.6 LZ码 162
本章小结 164
习题 166
第6章 有噪信道编码 170
6.1 错误概率 170
6.1.1 错误概率和译码规则 170
6.1.2 错误概率和编码方法 174
6.2 有噪信道编码定理 175
6.3 联合信源信道编码定理 178
6.4 信道编码的基本概念 179
6.4.1 信道编码的分类 180
6.4.2 线性分组码的检错和纠错能力 180
6.4.3 最小汉明距离译码准则 182
6.4.4 差错控制的三种方式 184
6.4.5 差错控制的途径 184
6.5 线性分组码 185
6.5.1 线性分组码的编码 186
6.5.2 线性分组码的译码 192
6.5.3 完备码和汉明码 197
6.5.4 对偶码 199
6.5.5 扩展码、缩短码和删信码 199
6.6 循环码 201
6.6.1 循环码的码多项式 202
6.6.2 循环码的生成多项式和生成矩阵 203
6.6.3 循环码的监督多项式和监督矩阵 207
6.6.4 循环码的编码电路 209
6.6.5 循环码的伴随式 211
6.6.6 循环码的译码电路 214
6.6.7 CRC码 217
6.7 BCH码和RS码 218
6.7.1 有限域的基本知识 218
6.7.2 二元BCH码 227
6.7.3 多元BCH码和RS码 232
6.8 卷积码 234
6.8.1 卷积码的解析表示 234
6.8.2 卷积码的图形描述 240
6.8.3 卷积码的译码方法 242
6.8.4 卷积码的特性 244
6.8.5 删余卷积码 245
6.8.6 递归型系统卷积码 246
6.9 交织码 247
6.10 级联码 249
6.11 接近香农极限的信道编码 250
6.11.1 Turbo码 250
6.11.2 LDPC码 251
6.11.3 极化码 252
6.12 基于性能指标要求下的信道编码方案选择 253
本章小结 255
习题 257
第7章 限失真信源编码 261
7.1 失真测度 261
7.1.1
