解析深度学习（第2版） / 人工智能前沿理论与技术应用丛书
定价：￥129.00
作者： 魏秀参
出版时间：2025-09
出版社：电子工业出版社
- 电子工业出版社
- 9787121491665
- 1-3
- 16开
- 2025-09
- 572
- 工学
- 计算机类
- 计算机科学与技术
- 本科 研究生及以上
内容简介
深度学习是一种以人工神经网络等为架构，对数据资料进行表示学习的算法，它是计算机科学及人工智能的重要分支，其代表性成果如卷积神经网络、循环神经网络等作为信息产业与工业互联网等行业的主流工具性技术已被成功应用于诸多现实场景. 本书作为一本面向中文读者的深度学习教科书，从“理论与实践相结合”的角度立意，贯彻“知行合一”的教育理念. 全书除绪论和附录外，共有15 章，分四篇：第一篇“机器学习”（第1 章），介绍机器学习的基本术语、基础理论与模型；第二篇“深度学习基础”（第2 ～ 5 章），介绍深度学习基本概念、卷积神经网络、循环神经网络和Transformer 网络等内容；第三篇“深度学习实践”（第6 ～ 14 章），介绍深度学习模型自数据准备开始，到网络参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡样本的处理，最终到模型集成等实践应用技巧和经验；第四篇“深度学习进阶”（第15 章），本篇以计算机视觉中的基础任务为例，介绍深度学习的进阶发展及其应用情况. 本书不是一本编程类图书，而是希望通过“基础知识”和“实践技巧”两方面的内容使读者从更高维度了解、掌握并成功构建针对自身应用的深度学习模型. 本书可作为高等院校计算机、人工智能、自动化及相关专业的本科生或研究生教材，也可供对深度学习感兴趣的研究人员和工程技术人员阅读参考.
目录
第0 章绪论·············1
0.1 引子·············· · · 1
0.2 人工智能············· · 2
0.3 深度学习············· · 5
参考文献··············9
第一篇机器学习············ · · 11
第1 章机器学习基础··········13
1.1 机器学习基本术语··········· 13
1.2 模型评估与选择··········· · · 14
1.2.1 经验误差与过拟合·········15
1.2.2 常用的评估方法·········· · 16
1.2.3 性能度量············ 17
1.2.4 偏差与方差··········· · · 20
1.3 线性模型············· · 21
1.3.1 基本形式············ 21
1.3.2 线性回归············ 22
1.3.3 线性判别分析··········23
1.3.4 多分类学习··········· · · 25
1.3.5 支持向量机··········· · · 26
1.4 机器学习基本理论··········· 29
1.4.1 PAC 学习理论··········30
1.4.2 No Free Lunch 定理········· · 31
1.4.3 奥卡姆剃刀原理·········· · 32
1.4.4 归纳偏置············ 32
1.5 总结与扩展阅读··········· · · 33
目录ix
1.6 习题·············· · · 34
参考文献··············35
第二篇深度学习基础··········· 37
第2 章深度学习基本概念········· · · 39
2.1 发展历程············· · 39
2.2 “端到端”思想··········· · · 43
2.3 基本结构············· · 45
2.4 前馈运算············· · 47
2.5 反馈运算············· · 47
2.6 总结与扩展阅读··········· · · 50
2.7 习题·············· · · 51
参考文献··············52
第3 章卷积神经网络··········54
3.1 卷积神经网络基本组件与操作········ 54
3.1.1 符号表示············ 55
3.1.2 卷积层············ · · 55
3.1.3 汇合层············ · · 59
3.1.4 激活函数············ 61
3.1.5 全连接层············ 63
3.1.6 目标函数············ 63
3.2 卷积神经网络经典结构·········64
3.2.1 卷积神经网络结构中的重要概念······ · · 64
3.2.2 经典网络案例分析·········68
3.3 卷积神经网络的压缩·········· · 81
3.3.1 低秩近似············ 82
3.3.2 剪枝与稀疏约束·········· · 84
3.3.3 参数量化············ 88
3.3.4 二值网络············ 91
3.3.5 知识蒸馏············ 93
x 目录
3.3.6 紧凑的网络结构·········· · 95
3.4 总结与扩展阅读··········· · · 97
3.5 习题·············· · · 99
参考文献··············101
第4 章循环神经网络··········106
4.1 循环神经网络基本组件与操作········ 106
4.1.1 符号表示············ 107
4.1.2 记忆模块············ 108
4.1.3 参数学习············ 110
4.1.4 长程依赖问题··········113
4.2 循环神经网络经典结构·········115
4.2.1 长短时记忆网络·········· · 115
4.2.2 门控循环单元网络·········117
4.2.3 堆叠循环神经网络·········118
4.2.4 双向循环神经网络·········119
4.3 循环神经网络拓展··········· 120
4.3.1 递归神经网络··········121
4.3.2 图神经网络··········· · · 122
4.4 循环神经网络训练··········· 123
4.5 总结与扩展阅读··········· · · 124
4.6 习题·············· · · 126
参考文献··············128
第5 章Transformer 网络········· 130
5.1 Transformer 网络基本组件与操作······· 130
5.1.1 符号表示············ 131
5.1.2 位置编码············ 132
5.1.3 多头注意力机制·········· · 133
5.1.4 编码器············ · · 137
5.1.5 解码器············ · · 138
目录xi
5.2 Transformer 网络经典结构········141
5.2.1 Transformer-XL········· · · 141
5.2.2 Longformer··········· · · 145
5.2.3 Reformer············ 146
5.2.4 Universal Transformer········ 149
5.3 Transformer 网络训练·········· 151
5.4 总结与扩展阅读··········· · · 154
5.5 习题·············· · · 156
参考文献··············157
第三篇深度学习实践··········· 159
第6 章数据扩充与数据预处理········ 161
6.1 简单的数据扩充方式·········· · 161
6.2 特殊的数据扩充方式·········· · 162
6.2.1 Fancy PCA·········· · · 162
6.2.2 监督式数据扩充·········· · 163
6.2.3 mixup 法············ 164
6.2.4 自动化数据扩充·········· · 169
6.3 深度学习数据预处理·········· · 171
6.4 总结与扩展阅读··········· · · 173
6.5 习题·············· · · 174
参考文献··············177
第7 章网络参数初始化·········· · 179
7.1 全零初始化············179
7.2 随机初始化············181
7.3 其他初始化方法··········· · · 194
7.4 总结与扩展阅读··········· · · 194
7.5 习题·············· · · 195
参考文献··············197
xii 目录
第8 章激活函数············ · 198
8.1 Sigmoid 函数············ · 198
8.2 tanh(x) 函数············ · 199
8.3 修正线性单元（ReLU）········· · · 200
8.4 Leaky ReLU···········2
0.1 引子·············· · · 1
0.2 人工智能············· · 2
0.3 深度学习············· · 5
参考文献··············9
第一篇机器学习············ · · 11
第1 章机器学习基础··········13
1.1 机器学习基本术语··········· 13
1.2 模型评估与选择··········· · · 14
1.2.1 经验误差与过拟合·········15
1.2.2 常用的评估方法·········· · 16
1.2.3 性能度量············ 17
1.2.4 偏差与方差··········· · · 20
1.3 线性模型············· · 21
1.3.1 基本形式············ 21
1.3.2 线性回归············ 22
1.3.3 线性判别分析··········23
1.3.4 多分类学习··········· · · 25
1.3.5 支持向量机··········· · · 26
1.4 机器学习基本理论··········· 29
1.4.1 PAC 学习理论··········30
1.4.2 No Free Lunch 定理········· · 31
1.4.3 奥卡姆剃刀原理·········· · 32
1.4.4 归纳偏置············ 32
1.5 总结与扩展阅读··········· · · 33
目录ix
1.6 习题·············· · · 34
参考文献··············35
第二篇深度学习基础··········· 37
第2 章深度学习基本概念········· · · 39
2.1 发展历程············· · 39
2.2 “端到端”思想··········· · · 43
2.3 基本结构············· · 45
2.4 前馈运算············· · 47
2.5 反馈运算············· · 47
2.6 总结与扩展阅读··········· · · 50
2.7 习题·············· · · 51
参考文献··············52
第3 章卷积神经网络··········54
3.1 卷积神经网络基本组件与操作········ 54
3.1.1 符号表示············ 55
3.1.2 卷积层············ · · 55
3.1.3 汇合层············ · · 59
3.1.4 激活函数············ 61
3.1.5 全连接层············ 63
3.1.6 目标函数············ 63
3.2 卷积神经网络经典结构·········64
3.2.1 卷积神经网络结构中的重要概念······ · · 64
3.2.2 经典网络案例分析·········68
3.3 卷积神经网络的压缩·········· · 81
3.3.1 低秩近似············ 82
3.3.2 剪枝与稀疏约束·········· · 84
3.3.3 参数量化············ 88
3.3.4 二值网络············ 91
3.3.5 知识蒸馏············ 93
x 目录
3.3.6 紧凑的网络结构·········· · 95
3.4 总结与扩展阅读··········· · · 97
3.5 习题·············· · · 99
参考文献··············101
第4 章循环神经网络··········106
4.1 循环神经网络基本组件与操作········ 106
4.1.1 符号表示············ 107
4.1.2 记忆模块············ 108
4.1.3 参数学习············ 110
4.1.4 长程依赖问题··········113
4.2 循环神经网络经典结构·········115
4.2.1 长短时记忆网络·········· · 115
4.2.2 门控循环单元网络·········117
4.2.3 堆叠循环神经网络·········118
4.2.4 双向循环神经网络·········119
4.3 循环神经网络拓展··········· 120
4.3.1 递归神经网络··········121
4.3.2 图神经网络··········· · · 122
4.4 循环神经网络训练··········· 123
4.5 总结与扩展阅读··········· · · 124
4.6 习题·············· · · 126
参考文献··············128
第5 章Transformer 网络········· 130
5.1 Transformer 网络基本组件与操作······· 130
5.1.1 符号表示············ 131
5.1.2 位置编码············ 132
5.1.3 多头注意力机制·········· · 133
5.1.4 编码器············ · · 137
5.1.5 解码器············ · · 138
目录xi
5.2 Transformer 网络经典结构········141
5.2.1 Transformer-XL········· · · 141
5.2.2 Longformer··········· · · 145
5.2.3 Reformer············ 146
5.2.4 Universal Transformer········ 149
5.3 Transformer 网络训练·········· 151
5.4 总结与扩展阅读··········· · · 154
5.5 习题·············· · · 156
参考文献··············157
第三篇深度学习实践··········· 159
第6 章数据扩充与数据预处理········ 161
6.1 简单的数据扩充方式·········· · 161
6.2 特殊的数据扩充方式·········· · 162
6.2.1 Fancy PCA·········· · · 162
6.2.2 监督式数据扩充·········· · 163
6.2.3 mixup 法············ 164
6.2.4 自动化数据扩充·········· · 169
6.3 深度学习数据预处理·········· · 171
6.4 总结与扩展阅读··········· · · 173
6.5 习题·············· · · 174
参考文献··············177
第7 章网络参数初始化·········· · 179
7.1 全零初始化············179
7.2 随机初始化············181
7.3 其他初始化方法··········· · · 194
7.4 总结与扩展阅读··········· · · 194
7.5 习题·············· · · 195
参考文献··············197
xii 目录
第8 章激活函数············ · 198
8.1 Sigmoid 函数············ · 198
8.2 tanh(x) 函数············ · 199
8.3 修正线性单元（ReLU）········· · · 200
8.4 Leaky ReLU···········2
