目录
前言
符号表
第一部分 概述
第 1 章 绪论 2
1.1 样例: 自动驾驶　3
1.2 模式识别与机器学习 5
1.2.1 一个典型的模式识别流程 5
1.2.2 模式识别与机器学习8
1.2.3 评估、部署和细化 9
1.3 本书的结构　 10
习题　12
第 2 章 数学背景知识　 15
2.1 线性代数　　15
2.1.1 内积、范数、距离和正交性16
2.1.2 角度与不等式　16
2.1.3 向量投影 17
2.1.4 矩阵基础 18
2.1.5 矩阵乘法 19
2.1.6 方阵的行列式与逆20
2.1.7 方阵的特征值、特征向量、秩和迹　 22
2.1.8 奇异值分解 23
2.1.9 (半) 正定实对称矩阵　24
2.2 概率 25
2.2.1 基础　　25
2.2.2 联合分布、条件分布与贝叶斯定理　 27
VIII 模式识别
2.2.3 期望与方差/协方差矩阵 28
2.2.4 不等式 30
2.2.5 独立性与相关性 30
2.2.6 正态分布 31
2.3 优化与矩阵微积分　　32
2.3.1 局部极小、必要条件和矩阵微积分　 33
2.3.2 凸优化与凹优化 34
2.3.3 约束优化和拉格朗日乘子法36
2.4 算法复杂度　 37
2.5 阅读材料　　38
习题　39
第 3 章 模式识别系统概述 42
3.1 人脸识别　　42
3.2 一个简单的最近邻分类器 43
3.2.1 训练或学习 43
3.2.2 测试或预测 44
3.2.3 最近邻分类器　44
3.2.4 k-近邻 46
3.3 丑陋的细节　 46
3.4 制定假设并化简　49
3.4.1 设计工作环境与设计复杂算法　　49
3.4.2 假设与简化 50
3.5 一种框架　　54
3.6 阅读材料　　55
习题　56
第 4 章 评估 58
4.1 简单情形中的准确率和错误率　　58
4.1.1 训练与测试误差 59
4.1.2 过拟合与欠拟合 60
4.1.3 使用验证集来选择超参数62
4.1.4 交叉验证 63
4.2 最小化代价/损失　64
4.2.1 正则化 65
4.2.2 代价矩阵 66
目 录 IX
4.2.3 贝叶斯决策理论 67
4.3 不平衡问题中的评估67
4.3.1 单个类别内的比率67
4.3.2 ROC 曲线下的面积　 69
4.3.3 查准率、查全率和 F 值 70
4.4 我们能达到 100％的准确率吗？　　72
4.4.1 贝叶斯错误率　72
4.4.2 真实标记 73
4.4.3 偏置-方差分解 74
4.5 对评估结果的信心　　77
4.5.1 为什么要取平均？77
4.5.2 为什么要报告样本标准差？78
4.5.3 比较两个分类器 79
4.6 阅读材料　　84
习题　84
第二部分 与领域知识无关的特征提取
第 5 章 主成分分析　 90
5.1 动机 90
5.1.1 维度与内在维度 90
5.1.2 降维　　92
5.1.3 PCA 与子空间方法92
5.2 PCA 降维到零维子空间 93
5.2.1 想法-形式化-优化实践　93
5.2.2 一个简单的优化 94
5.2.3 一些注释 94
5.3 PCA 降维到一维子空间 95
5.3.1 新的形式化 95
5.3.2 最优性条件与化简96
5.3.3 与特征分解的联系97
5.3.4 解98
5.4 PCA 投影到更多维度99
5.5 完整的 PCA 算法 99
X 模式识别
5.6 方差的分析　 100
5.6.1 从最大化方差出发的 PCA102
5.6.2 一种更简单的推导　　103
5.6.3 我们需要多少维度呢？ 103
5.7 什么时候使用或不用 PCA 呢？　 104
5.7.1 高斯数据的 PCA　 104
5.7.2 非高斯数据的 PCA　105
5.7.3 含异常点数据的 PCA　 106
5.8 白化变换106
5.9 特征分解与 SVD 107
5.10 阅读材料　 107
习题　107
第 6 章 Fisher 线性判别 111
6.1 用于二分类的 FLD　 112
6.1.1 想法: 什么是隔得很远呢?112
6.1.2 翻译成数学语言　 114
6.1.3 散度矩阵与协方差矩阵 115
6.1.4 两种散度矩阵以及 FLD 的目标函数　116
6.1.5 优化　　117
6.1.6 等等, 我们有一条捷径! 118
6.1.7 二分类问题的 FLD118
6.1.8 陷阱: 要是 S_W 不可逆呢? 119
6.2 用于多类的 FLD 120
6.2.1 稍加修改的符号和 S_W 120
6.2.2 S_B 的候选　121
6.2.3 三个散度矩阵的故事 121
6.2.4 解　　122
6.2.5 找到更多投影方向　　122
6.3 阅读材料123
习题　123
目 录 XI
第三部分 分类器与其他工具
第 7 章 支持向量机　 128
7.1 SVM 的关键思想　　128
7.1.1 简化它! 简化它! 简化它!129
7.1.2 查找最大 (或较大) 间隔的分类器　 130
7.2 可视化并计算间隔 131
7.2.1 几何的可视化　　131
7.2.2 将间隔作为优化来计算 132
7.3 最大化间隔　 133
7.3.1 形式化　 133
7.3.2 各种简化　134
7.4 优化与求解　 136
7.4.1 拉格朗日函数与 KKT 条件　　136
7.4.2 SVM 的对偶形式137
7.4.3 最优的 b 值与支持向量138
7.4.4 同时考虑原始形式与对偶形式　　140
7.5 向线性不可分问题和多类问题的扩展　141
7.5.1 不可分问题的线性分类器141
7.5.2 多类 SVM　143
7.6 核 SVM144
7.6.1 核技巧　 145
7.6.2 Mercer 条件与特征映射146
7.6.3 流行的核函数与超参数 147
7.6.4 SVM 的复杂度、权衡及其他 149
7.7 阅读材料149
习题　150
第 8 章 概率方法　　155
8.1 思考问题的概率路线155
8.1.1 术语　　155
8.1.2 分布与推断　156
8.1.3 贝叶斯定理　157
8.2 各种选择157
8.2.1 生成式模型与判别式模型158
XII 模式识别
8.2.2 参数化与非参数化　　158
8.2.3 该如何看待一个参数呢?159
8.3 参数化估计　 160
8.3.1 最大似然　160
8.3.2 最大后验　162
8.3.3 贝叶斯　 162
8.4 非参数化估计　165
8.4.1 一个一维的例子　 165
8.4.2 直方图近似中存在的问题168
8.4.3 让你的样本无远弗届 168
8.4.4 核密度估计　169
8.4.5 带宽选择　170
8.4.6 多变量 KDE 171
8.5 做出决策172
8.6 阅读材料172
习题　173
第 9 章 距离度量与数据变换176
9.1 距离度量和相似度度量 176
9.1.1 距离度量　177
9.1.2 向量范数和度量　 178
9.1.3 ?_p 范数和?_p 度量　　178
9.1.4 距离度量学习　　181
9.1.5 均值作为一种相似度度量182
9.1.6 幂平均核　185
9.2 数据变换和规范化 186
9.2.1 线性回归　186
9.2.2 特征规范化　188
9.2.3 数据变换　189
9.3 阅读材料192
习题　192
第 10 章 信息论和决策树 198
10.1 前缀码和霍夫曼树198
10.2 信息论基础　 199
10.2.1 熵和不确定性　　200
目 录 XIII
10.2.2 联合和条件熵　　200
10.2.3 互信息和相对熵　 201
10.2.4 一些不等式 202
10.2.5 离散分布的熵　　204
10.3 连续分布的信息论204
10.3.1 微分熵　 204
10.3.2 多元高斯分布的熵　 206
10.3.3 高斯分布是最大熵分布208
10.4 机器学习和模式识别中的信息论　 210
10.4.1 最大熵　 210
10.4.2 最小交叉熵 211
10.4.3 特征选择　212
10.5 决策树　　213
10.5.1 异或问题及其决策树模型213
10.5.2 基于信息增益的结点划分215
10.6 阅读材料　 217
习题　217
第四部分 处理变化多端的数据
第 11 章 稀疏数据和未对齐数据 222
11.1 稀疏机器学习　222
11.1.1 稀疏 PCA? 222
11.1.2 使用 ?_1 范数诱导稀疏性　223
11.1.3 使用过完备的字典　 227
11.1.4 其他一些相关的话题 229
11.2 动态时间规整　230
11.2.1 未对齐的时序数据　 231
11.2.2 思路 (或准则) 232
11.2.3 可视化和形式化　 233
11.2.4 动态规划　234
11.3 阅读材料　 237
习题　238
XIV 模式识别
第 12 章 隐马尔可夫模型 242
12.1 时序数据与马尔可夫性质 242
12.1.1 各种各样的时序数据和模型　　242
12.1.2 马尔可夫性质　　244
12.1.3 离散时间马尔可夫链 245
12.1.4 隐马尔可夫模型　 247
12.2 HMM 学习中的三个基本问题　　249
12.3 α、β 和评估问题 250
12.3.1 前向变量和算法　 250
12.3.2 后向变量和算法　 252
12.4 γ、δ、ψ 和解码问题255
12.4.1 γ 和独立解码的最优状态255
12.4.2 δ、ψ 和联合解码的最优状态　　256
12.5 ξ 和 HMM 参数的学习　258
12.5.1 Baum-Welch: 以期望比例来更新 λ　259
12.5.2 如何计算 ξ　259
12.6 阅读材料　 262
习题　262
第五部分 高阶课题
第 13 章 正态分布　 268
13.1 定义268
13.1.1 单变量正态分布　 268
13.1.2 多元正态分布　　269
13.2 符号和参数化形式271
13.3 线性运算与求和　　272
13.3.1 单变量的情形　　272
13.3.2 多变量的情形　　273
13.4 几何和马氏距离　　274
13.5 条件作用　 275
13.6 高斯分布的乘积　　277
13.7 应用 I: 参数估计 278
13.7.1 最大似然估计　　278
目 录 XV
13.7.2 贝叶斯参数估计　 279
13.8 应用 II: 卡尔曼滤波280
13.8.1 模型　 280
13.8.2 估计　 281
13.9 在本章中有用的数学282
13.9.1 高斯积分　282
13.9.2 特征函数　284
13.9.3 舒尔补 & 矩阵求逆引理285
13.9.4 向量和矩阵导数　 286
习题　287
第 14 章 EM 算法的基本思想 291
14.1 GMM: 一个工作实例　291
14.1.1 高斯混合模型　　291
14.1.2 基于隐变量的诠释　 293
14.1.3 假若我们能观测到隐变量, 那会怎样？ 294
14.1.4 我们可以模仿先知吗？294
14.2 EM 算法的非正式描述 295
14.3 期望最大化算法　　296
14.3.1 联合非凹的不完整数据对数似然　 296
14.3.2 (可能是) 凹的完整数据对数似然　 297
14.3.3 通用 EM 的推导298
14.3.4 E 步和 M 步 300
14.3.5 EM 算法　301
14.3.6 EM 能收敛吗？　　301
14.4 EM 用于 GMM 302
14.5 阅读材料　 305
习题　306
第 15 章 卷积神经网络308
15.1 预备知识　 308
15.1.1 张量和向量化　　309
15.1.2 向量微积分和链式法则310
15.2 CNN 概览　 310
15.2.1 结构　 311
15.2.2 前向运行　312
XVI 模式识别
15.2.3 随机梯度下降　　312
15.2.4 误差反向传播　　314
15.3 层的输入、输出和符号 315
15.4 ReLU 层　　315
15.5 卷积层　　317
15.5.1 什么是卷积?　　317
15.5.2 为什么要进行卷积? 320
15.5.3 卷积作为矩阵乘法　 321
15.5.4 克罗内克积 323
15.5.5 反向传播: 更新参数 325
15.5.6 更高维的指示矩阵　 326
15.5.7 反向传播: 为前一层准备监督信号　 327
15.5.8 用卷积层实现全连接层329
15.6 汇合层　　330
15.7 案例分析: VGG16 网络 332
15.7.1 VGG-Verydeep-16 332
15.7.2 感受野　 334
15.8 CNN 的亲身体验 334
15.9 阅读材料　 334
习题　335
参考文献　338
英文索引　353
中文索引　360