第1章 绪论 1
1.1 深度学习发展简史 1
1.1.1 深度学习的起源 1
1.1.2 深度学习的发展 3
1.1.3 深度学习的爆发 3
1.2 深度学习的相关概念 5
1.2.1 深度学习与传统机器学习的区别 5
1.2.2 线性回归 7
1.2.3 Softmax回归 8
1.2.4 多层感知机 9
1.2.5 模型选择、欠拟合和过拟合 10
1.3 深度学习与人工智能的关系 12
1.3.1 深度学习在人工智能中的角色 12
1.3.2 深度学习在人工智能中的应用 13
1.4 常用的深度学习框架 14
1.4.1 Tenso
Flow 14
1.4.2 PyTo
ch 15
1.4.3 Ke
as 15
1.5 深度学习的研究进展与应用 16
1.5.1 深度学习在计算机视觉中的应用 16
1.5.2 深度学习在自然语言处理中的应用 17
1.5.3 深度学习在医学领域中的进展 17
本章小结 18
思考题或自测题 18
第2章 神经网络基础 20
2.1 神经元与网络结构 20
2.1.1 人工神经元模型 20
2.1.2 人工神经网络 21
2.1.3 激活函数 22
2.1.4 全连接层 28
2.1.5 输出层 29
2.1.6 误差计算 29
2.2 前馈神经网络 30
2.2.1 前馈神经网络结构 30
2.2.2 前馈神经网络的训练方法 31
2.3 反向传播算法 33
2.3.1 导数与梯度 34
2.3.2 损失函数 34
2.3.3 链式法则 35
2.3.4 反向传播算法 35
2.4 自动梯度计算 37
2.4.1 数值微分 37
2.4.2 符号微分 37
2.4.3 自动微分 38
2.5 优化问题 39
2.5.1 参数初始化 39
2.5.2 梯度消失和梯度爆炸问题 40
2.5.3 死亡
eLU问题 41
2.6 使用PyTo
ch构建神经网络 42
2.6.1 MNIST数据集介绍 42
2.6.2 使用PyTo
ch构建神经网络训练MNIST数据集 42
本章小结 46
思考题或自测题 47
第3章 卷积神经网络 48
3.1 卷积与卷积神经网络 48
3.1.1 卷积操作的数学原理 48
3.1.2 卷积神经网络的基本结构 50
3.2 参数学习 54
3.3 几种典型的卷积神经网络 55
3.3.1 LeNet 55
3.3.2 AlexNet 57
3.3.3 VGGNet 60
3.3.4
esNet 63
3.4 其他卷积方式 65
3.4.1 空洞卷积 65
3.4.2 深度可分离卷积 66
3.5 应用分析 66
3.5.1 图像分类任务中的应用 66
3.5.2 目标检测任务中的应用 68
3.5.3 语义分割任务中的应用 71
本章小结 74
思考题或自测题 75
第4章 循环神经网络 76
4.1 非线性自回归模型和循环神经网络 76
4.1.1 延时神经网络 77
4.1.2 有外部输入的非线性自回归模型 78
4.1.3 循环神经网络的构造 78
4.2 参数学习 79
4.3 几种典型的循环神经网络 82
4.3.1 Simple
NN 83
4.3.2 G
U 85
4.3.3 LSTM 86
4.3.4
i-
NN 88
4.3.5 ESN 90
4.4 应用分析 92
4.4.1 时序建模中的应用 92
4.4.2 自然语言处理中的应用 93
本章小结 93
思考题或自测题 94
第5章 深度信念网络 95
5.1 玻尔兹曼机 95
5.1.1 传统玻尔兹曼机概述 95
5.1.2 受限玻尔兹曼机概述 96
5.2 受限玻尔兹曼机 97
5.2.1 受限玻尔兹曼机的定义 97
5.2.2 受限玻尔兹曼机参数学习 98
5.2.3 受限玻尔兹曼机模型参数求解 99
5.2.4 受限玻尔兹曼机模型训练算法 101
5.2.5 受限玻尔兹曼机模型评估 102
5.3 深度信念网络 104
5.3.1 深层置信网络的定义 104
5.3.2 模型训练方法 106
5.4 应用分析 108
5.4.1 特征学习中的应用 108
5.4.2 数据生成中的应用 110
本章小结 112
思考题或自测题 112
第6章 生成对抗网络 113
6.1 概率生成模型 113
6.1.1 概率生成模型定义 113
6.1.2 协方差矩阵共享 114
6.1.3 极大似然估计 115
6.2 变分自编码器 118
6.2.1 降维、主成分分析和自动编码器 118
6.2.2 变分自动编码器框架 119
6.2.3 变分推理公式推导 120
6.2.4 将神经网络引入模型 121
6.3 生成对抗网络 123
6.3.1 GAN的网络结构 123
6.3.2 GAN的训练方法 124
6.3.3 统一目标函数 129
6.3.4 GAN变种 129
6.4 应用分析 131
6.4.1 图像生成中的应用 132
6.4.2 风格迁移任务中的应用 132
6.4.3 人机交互领域 133
本章小结 134
思考题或自测题 135
第7章 深度强化学习 136
7.1 强化学习问题 136
7.1.1 强化学习定义 136
7.1.2 马尔可夫决策过程 137
7.1.3 目标函数 139
7.2 基于值函数的学习方法 139
7.2.1 值函数 139
7.2.2 值函数估计 140
7.2.3 策略改进 141
7.2.4 SA
SA算法 143
7.2.5 DQN算法 145
7.2.6 DQN变种 147
7.3 基于策略函数的学习方法 148
7.3.1 策略梯度 148
7.3.2
EINFO
CE算法 149
7.3.3 原始策略梯度的改进 150
7.3.4 带基准的
EINFO
CE算法 150
7.3.5 重要性采样 152
7.3.6 近端策略优化算法 154
7.4 演员-评论员算法 156
7.4.1 A2C算法 156
7.4.2 A3C算法 157
7.5 应用分析 158
7.5.1 游戏中的强化学习应用 158
7.5.2 机器人控制中的强化学习应用 159
本章小结 159
思考题或自测题 161
第8章 网络轻量化 162
8.1 基于统计选择的通道修剪 162
8.1.1 通道修剪的基本原理 163
8.1.2 统计选择算法 167
8.2 基于知识蒸馏的模型轻量化 170
8.2.1 知识蒸馏的概念 170
8.2.2 蒸馏方法在模型轻量化中的应用 173
8.3 基于强化学习的模型轻量化 179
8.3.1 强化学习概述 179
8.3.2 强化学习在模型压缩中的应用 180
8.4 模型轻量化面临的问题 184
8.4.1 模型轻量化面临的开放性问题 184
8.4.2 模型轻量化涉及的拓展和挑战 185
本章小结 186
思考题或自测题 186
第9章 深度学习前沿发展方向 187
9.1 可解释性 187
9.1.1 可解释性定义及原因 187
9.1.2 独立于模型的解释 188
9.1.3 依赖于模型的解释 192
9.1.4 可解释性的评估 195
9.2 元学习 196
9.2.1 Meta-lea
ning的概述 197
9.2.2 Meta-lea
ning的分类 198
9.2.3 Meta-lea
ning的挑战和机遇 202
9.3 自监督学习 203
9.3.1 自监督学习的基本概念 204
9.3.2 自监督学习方法 204
9.3.3 自监督学习的挑战和机遇 207
本章小结 208
思考题或自测题 208
参考文献