语音识别：原理与应用（第3版） / 通用智能与大模型丛书
定价：￥119.00
作者： 洪青阳
出版时间：2026-04
出版社：电子工业出版社
- 电子工业出版社
- 9787121499326
- 1-5
- 16开
- 2026-04
- 383
- 工学
- 计算机类
- 计算机科学与技术
- 本科 研究生及以上
内容简介
本书系统地介绍了语音识别的原理与应用。全书共16章，原理部分涵盖声学特征、隐马尔可夫模型（HMM）、高斯混合模型（GMM）、深度神经网络（DNN）、语言模型、加权有限状态转换器（WFST）和语音大模型，重点描述了GMM-HMM、DNN-HMM和端到端（E2E）三种语音识别框架；应用部分包含Kaldi、WeNet、FunASR和sherpa-onnx等工业应用实践介绍，内容主要来自工程经验，极具实用性。
本书可以作为普通高等学校人工智能、计算机科学与技术、电子信息工程、自动化等专业的本科生及研究生的教材，也适合作为从事智能语音系统的科研人员和工程技术人员的参考书。
本书可以作为普通高等学校人工智能、计算机科学与技术、电子信息工程、自动化等专业的本科生及研究生的教材，也适合作为从事智能语音系统的科研人员和工程技术人员的参考书。
目录
第1章 语音识别概论 1
1.1 语音的产生和感知 1
1.2 语音识别过程 3
1.3 语音识别发展历史 6
1.4 国内语音识别现状 12
1.5 语音识别建模方法 15
1.5.1 DTW 15
1.5.2 GMM-HMM 16
1.5.3 DNN-HMM 17
1.5.4 E2E 模型 18
1.6 语音识别开源工具 18
1.7 常用语音识别数据库 19
1.8 语音识别评价指标 20
参考文献 20
第2章 语音信号基础 24
2.1 声波的特性 24
2.2 声音的接收装置 25
2.2.1 麦克风的性能指标 25
2.2.2 麦克风阵列 26
2.3 声音的采样 27
2.4 声音的量化 28
2.5 语音的编码 30
2.6 WAV 文件格式 33
2.7 WAV 文件分析 34
2.8 本章小结 36
思考练习题 36
第3章 语音特征提取 37
3.1 预处理 37
3.2 短时傅里叶变换 40
3.3 听觉特性 43
3.4 线性预测 45
3.5 倒谱分析 46
3.6 常用的声学特征 47
3.6.1 语谱图 47
3.6.2 FBank 49
3.6.3 MFCC 49
3.6.4 PLP 50
3.7 本章小结 51
思考练习题 52
第4章 HMM 53
4.1 HMM 的基本概念 54
4.1.1 马尔可夫链 55
4.1.2 双重随机过程 56
4.1.3 HMM 的定义 57
4.2 HMM 的三个基本问题 58
4.2.1 模型评估问题 58
4.2.2 最佳路径问题 61
4.2.3 模型训练问题 62
4.3 本章小结 64
参考文献 64
思考练习题 65
第5章 GMM-HMM 66
5.1 概率统计 66
5.2 高斯分布 67
5.3 GMM 70
5.3.1 初始化 70
5.3.2 重估计 71
5.4 GMM 与HMM 的结合 73
5.5 GMM-HMM 的训练 77
5.6 模型自适应 79
5.6.1 MAP 79
5.6.2 MLLR 79
5.6.3 fMLLR 80
5.6.4 SAT 80
5.7 本章小结 80
参考文献 80
思考练习题 81
第6章 基于HMM 的语音识别 82
6.1 建模单元 82
6.2 发音过程与HMM 状态 84
6.3 串接HMM 85
6.4 固定语法的识别 89
6.5 随机语法的识别 93
6.6 音素的上下文建模 99
6.6.1 协同发音 99
6.6.2 上下文建模 100
6.6.3 决策树 101
6.6.4 问题集 102
6.6.5 三音子模型的训练 106
6.7 本章小结 106
思考练习题 107
第7章 DNN-HMM 108
7.1 深度学习 108
7.2 DNN 108
7.2.1 激活函数 109
7.2.2 损失函数 111
7.2.3 梯度下降算法 111
7.3 DNN 与HMM 的结合 113
7.4 不同的DNN 结构 117
7.4.1 CNN 117
7.4.2 LSTM 120
7.4.3 GRU 121
7.4.4 TDNN 122
7.4.5 TDNN-F 124
7.5 本章小结 126
参考文献 127
思考练习题 127
第8章 语言模型 128
8.1 n-gram 模型 129
8.2 评价指标——困惑度 133
8.3 平滑技术 133
8.3.1 Good-Turing折扣法 133
8.3.2 Witten-Bell折扣法 135
8.3.3 Katz 回退法 135
8.3.4 Jelinek-Mercer插值法 138
8.3.5 Kneser-Ney插值法 138
8.4 语言模型的训练 140
8.5 神经网络语言模型 143
8.6 本章小结 145
参考文献 145
思考练习题 146
第9章 WFST 解码器 147
9.1 基于动态网络的Viterbi解码 147
9.2 WFST 理论 151
9.3 HCLG 构建 155
9.3.1 H 的构建 156
9.3.2 C 的构建 157
9.3.3 L 的构建 158
9.3.4 G 的构建 159
9.3.5 HCLG 合并 161
9.4 WFST 的Viterbi 解码 163
9.4.1 Token 的定义 163
9.4.2 Viterbi 算法 163
9.5 Lattice 解码 170
9.5.1 主要数据结构 171
9.5.2 令牌传播过程 171
9.5.3 剪枝策略 174
9.5.4 Lattice 176
9.6 本章小结 177
参考文献 177
思考练习题 177
第10章 Kaldi 训练实例 178
10.1 下载与安装Kaldi 179
10.1.1 获取源代码 179
10.1.2 编译 179
10.2 创建和配置基本的工程目录 180
10.3 aishell 语音识别工程 181
10.3.1 数据集映射目录准备 182
10.3.2 词典准备和lang目录生成 183
10.3.3 语言模型训练 185
10.3.4 声学特征提取与倒谱均值归一化 186
10.3.5 声学模型训练与强制对齐 188
10.3.6 解码测试与指标计算 190
10.4 本章小结 191
第11章 端到端语音识别 192
11.1 CTC 193
11.1.1 损失函数 193
11.1.2 前向算法 196
11.1.3 后向算法 198
11.1.4 求导过程 199
11.1.5 CTC 解码 200
11.2 RNN-T 203
11.3 基于Attention 的Encoder-Decoder 模型 207
11.4 Hybrid CTC/Attention 209
11.5 本章小结 210
参考文献 210
思考练习题 211
第12章 Transformer 结构 212
12.1 模型结构 212
12.2 卷积下采样 213
12.3 位置编码 214
12.4 自注意力机制 215
12.4.1 自注意力 215
12.4.2 多头注意力机制 218
12.5 编码器结构 218
12.5.1 残差连接 219
12.5.2 层归一化 219
12.5.3 前馈层 219
12.6 解码器结构 219
12.6.1 交叉注意力 220
12.6.2 掩蔽注意力 221
12.7 训练和推理 222
12.8 Whisper 实例 223
12.9
1.1 语音的产生和感知 1
1.2 语音识别过程 3
1.3 语音识别发展历史 6
1.4 国内语音识别现状 12
1.5 语音识别建模方法 15
1.5.1 DTW 15
1.5.2 GMM-HMM 16
1.5.3 DNN-HMM 17
1.5.4 E2E 模型 18
1.6 语音识别开源工具 18
1.7 常用语音识别数据库 19
1.8 语音识别评价指标 20
参考文献 20
第2章 语音信号基础 24
2.1 声波的特性 24
2.2 声音的接收装置 25
2.2.1 麦克风的性能指标 25
2.2.2 麦克风阵列 26
2.3 声音的采样 27
2.4 声音的量化 28
2.5 语音的编码 30
2.6 WAV 文件格式 33
2.7 WAV 文件分析 34
2.8 本章小结 36
思考练习题 36
第3章 语音特征提取 37
3.1 预处理 37
3.2 短时傅里叶变换 40
3.3 听觉特性 43
3.4 线性预测 45
3.5 倒谱分析 46
3.6 常用的声学特征 47
3.6.1 语谱图 47
3.6.2 FBank 49
3.6.3 MFCC 49
3.6.4 PLP 50
3.7 本章小结 51
思考练习题 52
第4章 HMM 53
4.1 HMM 的基本概念 54
4.1.1 马尔可夫链 55
4.1.2 双重随机过程 56
4.1.3 HMM 的定义 57
4.2 HMM 的三个基本问题 58
4.2.1 模型评估问题 58
4.2.2 最佳路径问题 61
4.2.3 模型训练问题 62
4.3 本章小结 64
参考文献 64
思考练习题 65
第5章 GMM-HMM 66
5.1 概率统计 66
5.2 高斯分布 67
5.3 GMM 70
5.3.1 初始化 70
5.3.2 重估计 71
5.4 GMM 与HMM 的结合 73
5.5 GMM-HMM 的训练 77
5.6 模型自适应 79
5.6.1 MAP 79
5.6.2 MLLR 79
5.6.3 fMLLR 80
5.6.4 SAT 80
5.7 本章小结 80
参考文献 80
思考练习题 81
第6章 基于HMM 的语音识别 82
6.1 建模单元 82
6.2 发音过程与HMM 状态 84
6.3 串接HMM 85
6.4 固定语法的识别 89
6.5 随机语法的识别 93
6.6 音素的上下文建模 99
6.6.1 协同发音 99
6.6.2 上下文建模 100
6.6.3 决策树 101
6.6.4 问题集 102
6.6.5 三音子模型的训练 106
6.7 本章小结 106
思考练习题 107
第7章 DNN-HMM 108
7.1 深度学习 108
7.2 DNN 108
7.2.1 激活函数 109
7.2.2 损失函数 111
7.2.3 梯度下降算法 111
7.3 DNN 与HMM 的结合 113
7.4 不同的DNN 结构 117
7.4.1 CNN 117
7.4.2 LSTM 120
7.4.3 GRU 121
7.4.4 TDNN 122
7.4.5 TDNN-F 124
7.5 本章小结 126
参考文献 127
思考练习题 127
第8章 语言模型 128
8.1 n-gram 模型 129
8.2 评价指标——困惑度 133
8.3 平滑技术 133
8.3.1 Good-Turing折扣法 133
8.3.2 Witten-Bell折扣法 135
8.3.3 Katz 回退法 135
8.3.4 Jelinek-Mercer插值法 138
8.3.5 Kneser-Ney插值法 138
8.4 语言模型的训练 140
8.5 神经网络语言模型 143
8.6 本章小结 145
参考文献 145
思考练习题 146
第9章 WFST 解码器 147
9.1 基于动态网络的Viterbi解码 147
9.2 WFST 理论 151
9.3 HCLG 构建 155
9.3.1 H 的构建 156
9.3.2 C 的构建 157
9.3.3 L 的构建 158
9.3.4 G 的构建 159
9.3.5 HCLG 合并 161
9.4 WFST 的Viterbi 解码 163
9.4.1 Token 的定义 163
9.4.2 Viterbi 算法 163
9.5 Lattice 解码 170
9.5.1 主要数据结构 171
9.5.2 令牌传播过程 171
9.5.3 剪枝策略 174
9.5.4 Lattice 176
9.6 本章小结 177
参考文献 177
思考练习题 177
第10章 Kaldi 训练实例 178
10.1 下载与安装Kaldi 179
10.1.1 获取源代码 179
10.1.2 编译 179
10.2 创建和配置基本的工程目录 180
10.3 aishell 语音识别工程 181
10.3.1 数据集映射目录准备 182
10.3.2 词典准备和lang目录生成 183
10.3.3 语言模型训练 185
10.3.4 声学特征提取与倒谱均值归一化 186
10.3.5 声学模型训练与强制对齐 188
10.3.6 解码测试与指标计算 190
10.4 本章小结 191
第11章 端到端语音识别 192
11.1 CTC 193
11.1.1 损失函数 193
11.1.2 前向算法 196
11.1.3 后向算法 198
11.1.4 求导过程 199
11.1.5 CTC 解码 200
11.2 RNN-T 203
11.3 基于Attention 的Encoder-Decoder 模型 207
11.4 Hybrid CTC/Attention 209
11.5 本章小结 210
参考文献 210
思考练习题 211
第12章 Transformer 结构 212
12.1 模型结构 212
12.2 卷积下采样 213
12.3 位置编码 214
12.4 自注意力机制 215
12.4.1 自注意力 215
12.4.2 多头注意力机制 218
12.5 编码器结构 218
12.5.1 残差连接 219
12.5.2 层归一化 219
12.5.3 前馈层 219
12.6 解码器结构 219
12.6.1 交叉注意力 220
12.6.2 掩蔽注意力 221
12.7 训练和推理 222
12.8 Whisper 实例 223
12.9
