- 西安电子科技大学出版社
- 9787560660141
- 1-1
- 422493
- 61223443-5
- 平装
- 16开
- 2021年5月
- 277
- 192
- 工学
- 计算机科学与技术
- TP181
- 自动化技术、计算技术
- 本科
内容简介
本书较完整地介绍了深度学习的基本概念、方法和技术。全书共10章，重点介绍了深度学习的基础知识、深度学习的基本算法、深度学习中的正则化以及几个典型的深度神经网络（如深度卷积神经网络、深度循环神经网络、深度生成式对抗网络、自编码器、深度信念网络、胶囊网络等）。
本书内容丰富、叙述详细、实用性强，适合具有一定数学基础的高年级本科生或相关专业的研究生使用，也可供不具有深度学习背景但对深度学习感兴趣的相关人员参考。
本书内容丰富、叙述详细、实用性强，适合具有一定数学基础的高年级本科生或相关专业的研究生使用，也可供不具有深度学习背景但对深度学习感兴趣的相关人员参考。
目录
第1章 绪论 1
1.1 深度学习的兴起 1
1.2 什么是深度学习 2
1.3 为什么采用深度学习 7
1.4 深度学习的应用 7
1.4.1 计算机视觉 7
1.4.2 语音识别 10
1.4.3 自然语言处理 11
习题 12
第2章 深度学习的基础知识 13
2.1 泛化误差 13
2.1.1 点估计 13
2.1.2 偏差和方差 14
2.2 神经网络结构 16
2.2.1 神经元 16
2.2.2 激活函数 17
2.2.3 隐藏单元 19
2.2.4 输出单元 20
2.2.5 架构设计 20
2.3 数据准备 20
2.3.1 噪声注入 21
2.3.2 数据扩充 21
2.4 超参数与验证集 22
2.5 规模与特征工程 23
2.5.1 规模 23
2.5.2 特征工程 23
2.6 损失函数 25
2.7 模型训练中的问题 28
习题 30
第3章 深度学习的基本算法 31
3.1 经典算法 31
3.1.1 监督学习 31
3.1.2 无监督学习 36
3.1.3 半监督学习 37
3.1.4 强化学习 39
3.2 梯度下降算法 40
3.2.1 梯度下降原理 40
3.2.2 随机梯度下降算法 41
3.2.3 批量梯度下降算法 42
3.2.4 小批量梯度下降算法 42
3.3 动量算法 43
3.3.1 动量 43
3.3.2 Nesterov 动量算法 45
3.4 反向传播算法 46
3.4.1 前馈神经网络 46
3.4.2 反向传播算法 47
3.4.3 反向传播算法实例 50
3.5 弱监督学习 53
3.5.1 不完全监督学习 53
3.5.2 不确切监督学习 54
3.5.3 不准确监督学习 55
3.6 迁移学习 56
3.6.1 迁移学习的相关定义 56
3.6.2 迁移学习的分类 57
3.6.3 知识蒸馏 65
3.7 小样本学习 67
3.7.1 基于fine-tune的小样本学习 69
3.7.2 基于metric的小样本学习 70
3.7.3 基于图神经网络的小样本学习 70
3.7.4 基于元学习的小样本学习 71
习题 76
第4章 深度学习中的正则化 77
4.1 参数范数惩罚 77
4.1.1 L2参数正则化 77
4.1.2 L1参数正则化 79
4.2 参数绑定与参数共享 80
4.3 稀疏表征 81
4.3.1 稀疏表示 81
4.3.2 稀疏模型 82
4.4 提前终止 83
4.5 Bagging 84
4.6 Dropout 84
4.6.1 Dropout的工作流程 84
4.6.2 Dropout在神经网络中的使用 85
习题 86
第5章 深度卷积神经网络 87
5.1 卷积神经网络的生物机理 87
5.2 卷积神经网络的原理和结构 87
5.3 卷积层 88
5.3.1 卷积 88
5.3.2 卷积的变种 90
5.3.3 卷积层的输出 93
5.4 池化层 95
5.5 非线性映射层 96
5.6 空间批量归一化 96
5.7 全连接层 98
5.8 典型的卷积神经网络 98
5.8.1 LeNet5网络 98
5.8.2 AlexNet网络 100
5.8.3 Inception网络 102
5.8.4 ResNet网络 105
5.8.5 RCNN网络 108
5.8.6 YOLO网络 109
5.9 全卷积神经网络 110
5.9.1 UNet网络 110
5.9.2 SegNet网络 112
习题 113
第6章 深度循环神经网络 114
6.1 简单循环神经网络 114
6.1.1 简单循环神经网络的结构 114
6.1.2 简单循环神经网络的训练 116
6.2 双向循环神经网络 120
6.3 深度循环网络的结构 122
6.4 解码编码网络的结构 123
6.5 门控循环神经网络 124
6.5.1 门控循环神经网络的结构框架 124
6.5.2 门控结构单元 125
6.5.3 门控神经网络的改进 127
6.6 递归神经网络 129
6.6.1 递归神经网络的结构 129
6.6.2 递归神经网络的前向计算 130
6.6.3 递归神经网络的应用 131
6.7 注意力机制 132
6.7.1 注意力机制的原理 132
6.7.2 transformer的架构 136
6.7.3 transformer的应用 141
6.7.4 计算机视觉的注意力机制 141
习题 144
第7章 深度生成式对抗网络 145
7.1 生成式对抗网络的基本原理 145
7.2 生成式对抗网络的设计 146
7.3 生成式对抗网络的改进 148
7.3.1 WGAN 148
7.3.2 LSGAN 150
7.4 生成式对抗网络在图像中的应用 150
习题 152
第8章 自编码器 153
8.1 欠完备自编码器 153
8.2 正则自编码器 154
8.2.1 稀疏自编码器 154
8.2.2 去噪自编码器 155
8.3 随机自编码器 157
8.4 深度自编码器 157
8.5 变分自编码器 158
习题 161
第9章 深度信念网络 162
9.1 Boltzmann机 162
9.1.1 Boltzmann机的模型 162
9.1.2 Boltzmann机的状态更新算法 162
9.2 受限Boltzmann机 163
9.2.1 受限Boltzmann机的学习目标 164
9.2.2 受限Boltzmann机的学习方法 164
9.3 深度信念网络 165
9.3.1 深度信念网络的设计 165
9.3.2 深度信念网络的参数学习 167
习题 168
第10章 胶囊网络 169
10.1 胶囊网络的基本概念 169
10.2 胶囊网络的工作原理 170
10.2.1 胶囊网络的核心思想 170
10.2.2 胶囊网络的工作过程 170
10.2.3 囊间动态路由算法 172
10.3 胶囊网络的典型应用 173
习题 174
附录 175
附录A 深度学习常用的工具 175
附录B 深度学习常用的开放数据集 177
参考文献 180
1.1 深度学习的兴起 1
1.2 什么是深度学习 2
1.3 为什么采用深度学习 7
1.4 深度学习的应用 7
1.4.1 计算机视觉 7
1.4.2 语音识别 10
1.4.3 自然语言处理 11
习题 12
第2章 深度学习的基础知识 13
2.1 泛化误差 13
2.1.1 点估计 13
2.1.2 偏差和方差 14
2.2 神经网络结构 16
2.2.1 神经元 16
2.2.2 激活函数 17
2.2.3 隐藏单元 19
2.2.4 输出单元 20
2.2.5 架构设计 20
2.3 数据准备 20
2.3.1 噪声注入 21
2.3.2 数据扩充 21
2.4 超参数与验证集 22
2.5 规模与特征工程 23
2.5.1 规模 23
2.5.2 特征工程 23
2.6 损失函数 25
2.7 模型训练中的问题 28
习题 30
第3章 深度学习的基本算法 31
3.1 经典算法 31
3.1.1 监督学习 31
3.1.2 无监督学习 36
3.1.3 半监督学习 37
3.1.4 强化学习 39
3.2 梯度下降算法 40
3.2.1 梯度下降原理 40
3.2.2 随机梯度下降算法 41
3.2.3 批量梯度下降算法 42
3.2.4 小批量梯度下降算法 42
3.3 动量算法 43
3.3.1 动量 43
3.3.2 Nesterov 动量算法 45
3.4 反向传播算法 46
3.4.1 前馈神经网络 46
3.4.2 反向传播算法 47
3.4.3 反向传播算法实例 50
3.5 弱监督学习 53
3.5.1 不完全监督学习 53
3.5.2 不确切监督学习 54
3.5.3 不准确监督学习 55
3.6 迁移学习 56
3.6.1 迁移学习的相关定义 56
3.6.2 迁移学习的分类 57
3.6.3 知识蒸馏 65
3.7 小样本学习 67
3.7.1 基于fine-tune的小样本学习 69
3.7.2 基于metric的小样本学习 70
3.7.3 基于图神经网络的小样本学习 70
3.7.4 基于元学习的小样本学习 71
习题 76
第4章 深度学习中的正则化 77
4.1 参数范数惩罚 77
4.1.1 L2参数正则化 77
4.1.2 L1参数正则化 79
4.2 参数绑定与参数共享 80
4.3 稀疏表征 81
4.3.1 稀疏表示 81
4.3.2 稀疏模型 82
4.4 提前终止 83
4.5 Bagging 84
4.6 Dropout 84
4.6.1 Dropout的工作流程 84
4.6.2 Dropout在神经网络中的使用 85
习题 86
第5章 深度卷积神经网络 87
5.1 卷积神经网络的生物机理 87
5.2 卷积神经网络的原理和结构 87
5.3 卷积层 88
5.3.1 卷积 88
5.3.2 卷积的变种 90
5.3.3 卷积层的输出 93
5.4 池化层 95
5.5 非线性映射层 96
5.6 空间批量归一化 96
5.7 全连接层 98
5.8 典型的卷积神经网络 98
5.8.1 LeNet5网络 98
5.8.2 AlexNet网络 100
5.8.3 Inception网络 102
5.8.4 ResNet网络 105
5.8.5 RCNN网络 108
5.8.6 YOLO网络 109
5.9 全卷积神经网络 110
5.9.1 UNet网络 110
5.9.2 SegNet网络 112
习题 113
第6章 深度循环神经网络 114
6.1 简单循环神经网络 114
6.1.1 简单循环神经网络的结构 114
6.1.2 简单循环神经网络的训练 116
6.2 双向循环神经网络 120
6.3 深度循环网络的结构 122
6.4 解码编码网络的结构 123
6.5 门控循环神经网络 124
6.5.1 门控循环神经网络的结构框架 124
6.5.2 门控结构单元 125
6.5.3 门控神经网络的改进 127
6.6 递归神经网络 129
6.6.1 递归神经网络的结构 129
6.6.2 递归神经网络的前向计算 130
6.6.3 递归神经网络的应用 131
6.7 注意力机制 132
6.7.1 注意力机制的原理 132
6.7.2 transformer的架构 136
6.7.3 transformer的应用 141
6.7.4 计算机视觉的注意力机制 141
习题 144
第7章 深度生成式对抗网络 145
7.1 生成式对抗网络的基本原理 145
7.2 生成式对抗网络的设计 146
7.3 生成式对抗网络的改进 148
7.3.1 WGAN 148
7.3.2 LSGAN 150
7.4 生成式对抗网络在图像中的应用 150
习题 152
第8章 自编码器 153
8.1 欠完备自编码器 153
8.2 正则自编码器 154
8.2.1 稀疏自编码器 154
8.2.2 去噪自编码器 155
8.3 随机自编码器 157
8.4 深度自编码器 157
8.5 变分自编码器 158
习题 161
第9章 深度信念网络 162
9.1 Boltzmann机 162
9.1.1 Boltzmann机的模型 162
9.1.2 Boltzmann机的状态更新算法 162
9.2 受限Boltzmann机 163
9.2.1 受限Boltzmann机的学习目标 164
9.2.2 受限Boltzmann机的学习方法 164
9.3 深度信念网络 165
9.3.1 深度信念网络的设计 165
9.3.2 深度信念网络的参数学习 167
习题 168
第10章 胶囊网络 169
10.1 胶囊网络的基本概念 169
10.2 胶囊网络的工作原理 170
10.2.1 胶囊网络的核心思想 170
10.2.2 胶囊网络的工作过程 170
10.2.3 囊间动态路由算法 172
10.3 胶囊网络的典型应用 173
习题 174
附录 175
附录A 深度学习常用的工具 175
附录B 深度学习常用的开放数据集 177
参考文献 180
