第1章概述1

11深度学习的发展历程2

111深度学习的起源2

112深度学习的发展3

113深度学习的爆发3

12机器学习基础3

121机器学习方式4

122机器学习的主要流派与演化
过程8

123泛化能力与增强方法9

124模型性能评价指标12

125相似性的度量与误差计算14

13神经网络模型基础19

131神经网络模型特性20

132学习方式与学习规则25

133深度学习模型原理33

小结37

思考与练习37



第2章前馈神经网络38

21分类模型38

211分类系统38

212判别函数39

213线性不可分的分类41

22感知器42

221离散感知器42

222连续感知器45


23BP神经网络46

231多层感知器结构46

232误差反向传播算法47

233Dropout方法52

234深度神经网络训练过程52

235回归神经网络54


小结56

思考与练习56



第3章卷积神经网络57

31卷积神经网络的产生58

311问题的提出58

312卷积神经网络的特点59

32CNN的结构60

321CNN系统结构60

322输入层60

323卷积层62

324池化层68

325输出层69


33CNN的训练71

331CNN的训练过程71

332CNN的正向传播过程72

333CNN的反向传播过程72

334CNN的权值更新73

34逆CNN75

341逆池化与逆卷积75

342逆池化运算76


343逆卷积运算77

35CNN的应用79

351CNN的应用特点79

352CNN的应用领域80

小结80

思考与练习80



第4章循环神经网络82

41循环神经网络概述83

411RNN的原理83

412RNN的记忆能力83

42RNN的结构84

421埃尔曼神经网络84

422单向循环神经网络84

423双向循环神经网络88

424BPTT学习算法89

425堆叠RNN92

43RNN的I/O模式92

431序列到类别模式93

432同步序列到序列模式93

433异步序列到序列模式94

44长短期记忆模型94

441RNN的记忆能力与长期
依赖94

442LSTM模型结构95

443模型参数的调节方法97

45基于RNN的语言模型98

451文本处理的编码解码框架98

452注意力模型99

453双向RNN注意力模型103

454词嵌入与词嵌入算法103

455基于RNN的语言模型举例107

小结109

思考与练习109



第5章自编码器110

51自编码器概述110

511表征学习110

512自编码器工作原理111

52常用的自编码器114

521欠完备的自编码器114

522稀疏自编码器 115

523栈式自编码器117

524去噪自编码器121

525变分自编码器123

53深度自编码器126

531基于多层BP网络的深度
自编码器126

532基于卷积神经网络的深度
自编码器126

54深度自编码器应用127

541深度自编码器主要应用
场景127

542典型应用127

小结128

思考与练习128



第6章Transformer模型129

61Transformer模型的特点与注意力
机制129

611Transformer模型的主要
特点130

612注意力机制和自注意力
机制130

613Transform多头注意力机制137

62Transformer 模型结构140

621总体架构140

622位置向量140

623编码器块142

624解码器块144

625构建Transformer英汉翻译
系统过程149

63Transformer工作过程与训练151

631Transformer工作过程151

632Transformer模型训练155

633Transformer并行训练
与测试157

小结159

思考与练习159



第7章生成对抗网络160

71GAN概述160

711GAN的产生背景161

712GAN的基本原理161

72GAN算法流程162

721GAN工作过程163

722GAN结构164

73GAN训练165

731GAN训练特点165

732GAN训练过程165

733损失函数166

734GAN优化169

735条件生成对抗网络170

74多种形式的GAN结构171

741多判别器单生成器171

742单判别器多生成器171

743多生成器多判别器172

75GAN的优点和应用场景172

751GAN的优点172

752GAN的应用场景172

小结174

思考与练习174



第8章深度信念网络175

81DBN的产生与发展175

811DBN的产生175

812DBN的发展176

82玻尔兹曼机与受限玻尔兹曼机176

821玻尔兹曼机176

822受限玻尔兹曼机179

823RBM训练183

83DBN的结构与构建185

831DBN的结构185

832DBN的构建186

84DBN训练186

841DBN预训练188

842DBN调优189

小结191

思考与练习191



第9章强化学习模型192

91强化学习原理193

911智能体及其特性193

912RL模型与工作过程194

913RL算法分类197

92SARSA算法199

921SARSA算法基本原理199

922SARSA算法流程200

923SARSA(λ)算法204

93QLearning算法207

931QLearning算法基本原理207

932QLearning算法流程209

933QLearning算法与SARSA算法
比较211

94策略梯度算法212

941基于值的RL算法的局
限性212

942基于策略算法212

943蒙特卡罗策略梯度过程212

95ActorCritic RL算法213

951ActorCritic RL算法基本
原理213

952ActorCritic RL算法流程214

96深度强化学习模型与算法215

961深度Q网络算法215

962深度确定性策略梯度算法216

97RL的应用217

971RL应用方法217

972RL应用流程218

973RL应用领域218

小结219

思考与练习219



参考文献220