第1章绪论1
1.1什么是模式识别1
1.2模式识别任务2
1.2.1数据获取2
1.2.2预处理3
1.2.3特征提取和选择3
1.2.4分类决策3
1.3模式识别方法3
1.3.1数据聚类4
1.3.2统计分类4
1.3.3神经网络5
1.3.4结构模式识别5
1.4关于本书的内容安排6

第2章特征提取与选择7
2.1基本概念7
2.2类别可分离判据7
2.2.1基于类内类间距离的可分离判据8
2.2.2基于概率分布的可分离判据11
2.2.3基于熵函数的可分离判据14
2.3基于类别可分离判据的特征提取15
2.3.1按欧氏距离度量的特征提取方法16
2.3.2按散度判据JD度量的特征提取方法16
2.3.3多类问题17
2.4主成分分析18
2.4.1基本概念18
2.4.2计算步骤202.4.3代码示例21
2.5特征选择22
2.5.1最优搜索算法23
2.5.2次优搜索算法25
2.5.3遗传算法27
2.5.4模拟退火算法28
2.5.5Tabu搜索算法29
习题30

第3章回归分析31
3.1什么是回归31
3.2线性回归33
3.2.1一元线性回归33
3.2.2最小二乘法33
3.3多重共线性36
3.3.1多重共线性的介绍36
3.3.2多重共线性对回归模型的影响36
3.3.3多重共线性的诊断38
3.4Ridge回归和LASSO回归40
3.4.1Ridge回归40
3.4.2岭迹分析40
3.4.3岭参数k的选择42
3.4.4LASSO回归43
习题44

第4章分类46
4.1监督学习47
4.1.1监督学习概述47
4.1.2监督学习应用47
4.2决策树48
4.2.1决策树归纳48
4.2.2决策树的构建过程48
4.3随机森林50
4.4逻辑回归51
4.4.1逻辑回归算法流程51
4.4.2理解逻辑回归52
4.4.3逻辑回归的计算54
4.5Softmax回归57
4.5.1Softmax函数57
4.5.2Softmax函数求导61
4.5.3交叉熵损失函数63
4.6支持向量机66
4.6.1核函数与核技巧66
4.6.2支持向量机定义68
4.6.3多类问题的支持向量机分类68
4.7朴素贝叶斯69
4.7.1算法原理及流程69
4.7.2条件概率估计及Laplace校准71
4.7.3朴素贝叶斯分类实例71
4.8贝叶斯决策72
4.8.1贝叶斯决策的基本概念72
4.8.2基于最小错误率的贝叶斯决策74
4.8.3基于最小风险的贝叶斯决策77
4.8.4贝叶斯决策比较80
4.8.5基于最小错误率的贝叶斯分类81
习题84

第5章聚类分析85
5.1无监督学习概述85
5.2基于划分的聚类86
5.2.1K-均值算法86
5.2.2K-medoids算法88
5.2.3K-prototype算法89
5.3基于密度的聚类90
5.3.1DBSCAN算法90
5.3.2OPTICS算法92
5.3.3DENCLUE算法92
5.4基于层次的聚类93
5.4.1BIRCH聚类94
5.4.2CURE算法94
5.5基于网格的聚类95
5.6基于模型的聚类96
5.6.1概率模型聚类96
5.6.2模糊聚类97
5.6.3Kohonen神经网络聚类97
习题100

第6章数据降维101
6.1维度的诅咒101
6.2K近邻学习103
6.2.1KNN原理104
6.2.2距离的计算105
6.2.3k值的选择105
6.2.4KNN的特点105
6.3低维嵌入106
6.3.1低维嵌入的概念106
6.3.2多维缩放106
6.3.3MDS算法实例107
6.4LDA109
6.4.1LDA介绍109
6.4.2瑞利商和广义瑞利商110
6.4.3二类LDA及降维110
6.4.4LDA扩展到多类问题111
6.5核主成分分析112
6.5.1KPCA原理112
6.5.2常用核函数114
6.5.3KPCA算法实例114
6.6流形学习115
6.6.1Isomap116
6.6.2LLE116
6.6.3LE117
习题119

第7章半监督学习120
7.1未标记样本120
7.2生成式方法122
7.3半监督SVM124
7.3.1概述124
7.3.2线性SVM125
7.3.3非线性分类126
7.3.4TSVM126
7.4图半监督学习127
7.4.1标签传播算法128
7.4.2多类标签传播算法129
7.5基于分歧的方法131
7.6半监督聚类132
习题133

第8章神经网络基础134
8.1神经网络基本概念134
8.1.1生物神经元134
8.1.2人工神经元135
8.2神经网络基础与典型网络架构136
8.2.1前馈神经网络136
8.2.2感知机137
8.2.3MLP138
8.2.4反向传播算法139
8.2.5竞争学习和侧抑制141
8.2.6Hopfield网络143
8.3神经网络模式识别的典型做法145
8.3.1多层前馈网络用于模式识别145
8.3.2自组织映射网络用于模式识别146
8.4前馈神经网络与统计模式识别的关系148
8.4.1隐藏层的特征提取作用148
8.4.2神经网络与贝叶斯分类器150
8.5经典CNN代码151
8.6讨论155
习题155

第9章深度学习基础156
9.1概述156
9.2卷积神经网络157
9.2.1概述157
9.2.2卷积操作158
9.2.3池化161
9.2.4总结卷积与池化162
9.2.5数据类型163
9.3基础的CNN架构163
9.4循环神经网络165
9.4.1概述165
9.4.2RNN166
9.4.3递归神经网络167
9.5深度学习框架168
习题171

后记172

附录173
附录A概率分布173
附录B概率模型198

参考文献214