模式分类（原书第2版·典藏版） / 计算机科学丛书
定价：￥149.00
作者： [美]理查德·O. 杜达（Richard O. Duda）
出版时间：2022-05-11
出版社：机械工业出版社
- 机械工业出版社
- 9787111704287
- 1-1
- 2022-05-11
- 886
内容简介
本书是模式识别和场景分析领域奠基性的经典名著。在第2版中，除了保留了第1版的关于统计模式识别和结构模式识别的主要内容以外，读者将会发现新增了许多新理论和新方法，其中包括神经网络、机器学习、数据挖掘、进化计算、不变量理论、隐马尔可夫模型、统计学习理论和支持向量机等。
目录
译者序
前言
第1章绪论1
1.1机器感知1
1.2一个例子1
1.3模式识别系统7
1.3.1传感器7
1.3.2分割和组织8
1.3.3特征提取8
1.3.4分类器9
1.3.5后处理10
1.4设计循环11
1.4.1数据采集11
1.4.2特征选择11
1.4.3模型选择12
1.4.4训练12
1.4.5评价12
1.4.6计算复杂度12
1.5学习和适应12
1.5.1有监督学习13
1.5.2无监督学习13
1.5.3强化学习13
1.6本章小结13
全书各章概要13
文献和历史评述14
参考文献15
第2章贝叶斯决策论16
2.1引言16
2.2贝叶斯决策论——连续特征18
2.3最小误差率分类20
2.3.1极小化极大准则21
2.3.2NeymanPearson准则22
2.4分类器、判别函数及判定面23
2.4.1多类情况23
2.4.2两类情况24
2.5正态密度25
2.5.1单变量密度函数25
2.5.2多元密度函数26
2.6正态分布的判别函数28
2.6.1情况1：Σi=σ2I28
2.6.2情况2：Σi=Σ30
2.6.3情况3：Σi＝任意32
2.7误差概率和误差积分35
2.8正态密度的误差上界36
2.8.1Chernoff界36
2.8.2Bhattacharyya界37
2.8.3信号检测理论和操作特性38
2.9贝叶斯决策论——离散特征40
2.9.1独立的二值特征41
2.10丢失特征和噪声特征43
2.10.1丢失特征43
2.10.2噪声特征44
2.11贝叶斯置信网44
2.12复合贝叶斯决策论及上下文49
本章小结50
文献和历史评述51
习题52
上机练习63
参考文献65
第3章最大似然估计和贝叶斯参数估计67
3.1引言67
3.2最大似然估计68
3.2.1基本原理68
3.2.2高斯情况：μ未知70
3.2.3高斯情况：μ和Σ均未知 71
3.2.4估计的偏差72
3.3贝叶斯估计73
3.3.1类条件密度73
3.3.2参数的分布73
3.4贝叶斯参数估计：高斯情况74
3.4.1单变量情况：p(μ｜)74
3.4.2单变量情况：p(x｜)76
3.4.3多变量情况77
3.5贝叶斯参数估计：一般理论78
3.5.1最大似然方法和贝叶斯方法何时有区别 81
3.5.2无信息先验和不变性82
3.5.3Gibbs算法83
3.6充分统计量83
3.7维数问题87
3.7.1精度、维数和训练集的大小90
3.7.2计算复杂度90
3.7.3过拟合92
3.8成分分析和判别函数94
3.8.1主成分分析94
3.8.2Fisher线性判别分析96
3.8.3多重判别分析99
3.9期望最大化算法102
3.10隐马尔可夫模型105
3.10.1一阶马尔可夫模型105
3.10.2一阶隐马尔可夫模型106
3.10.3隐马尔可夫模型的计算106
3.10.4估值问题107
3.10.5解码问题111
3.10.6学习问题113
本章小结114
文献和历史评述115
习题115
上机练习127
参考文献130
第4章非参数技术132
4.1引言132
4.2概率密度的估计132
4.3Parzen窗方法134
4.3.1均值的收敛性137
4.3.2方差的收敛性137
4.3.3举例说明137
4.3.4分类的例子140
4.3.5概率神经网络141
4.3.6窗函数的选取143
4.4n近邻估计143
4.4.1n近邻估计和Parzen窗估计144
4.4.2后验概率的估计145
4.5最近邻规则146
4.5.1最近邻规则的收敛性147
4.5.2最近邻规则的误差率148
4.5.3误差界149
4.5.4近邻规则150
4.5.5近邻规则的计算复杂度151
4.6距离度量和最近邻分类153
4.6.1度量的性质154
4.6.2切空间距离155
4.7模糊分类157
4.8RCE网络160
4.9级数展开逼近161
本章小结163
文献和历史评述164
习题165
上机练习171
参考文献175
第5章线性判别函数177
5.1引言 177
5.2线性判别函数和判定面177
5.2.1两类情况 177
5.2.2多类的情况 179
5.3广义线性判别函数 180
5.4两类线性可分的情况 183
5.4.1几何解释和术语 183
5.4.2梯度下降算法184
5.5感知器准则函数最小化186
5.5.1感知器准则函数 186
5.5.2单个样本校正的收敛性证明187
5.5.3一些直接的推广 190
5.6松弛算法192
5.6.1下降算法 192
5.6.2收敛性证明 194
5.7不可分的情况 195
5.8最小平方误差方法196
5.8.1最小平方误差及伪逆196
5.8.2与Fisher线性判别的关系 198
5.8.3最优判别的渐近逼近199
5.8.4WidrowHoff 算法或最小均方算法 201
5.8.5随机逼近法 202
5.9HoKashyap算法203
5.9.1下降算法 204
5.9.2收敛性证明 205
5.9.3不可分的情况206
5.9.4一些相关的算法 207
5.10线性规划算法209
5.10.1线性规划209
5.10.2线性可分情况209
5.10.3极小化感知器准则函数210
5.11支持向量机 211
5.12推广到多类问题216
5.12.1Kesler构造法217
5.12.2固定增量规则的收敛性217
5.12.3MSE算法的推广 218
本章小结220
文献和历史评述220
习题221
上机练习226
参考文献229
第6章多层神经网络230
6.1引言 230
6.2前馈运算和分类231
6.2.1一般的前馈运算 233
6.2.2多层网络的表达能力233
6.3反向传播算法 235
6.3.1网络学习 236
6.3.2训练协议 239
6.3.3学习曲线 240
6.4误差曲面241
6.4.1一些小型网络241
6.4.2异或问题242
6.4.3较大型的网络243
6.4.4关于多重极小243
6.5反向传播作为特征映射243
6.5.1隐含层的内部表示——权值 244
6.6反向传播、贝叶斯理论及概率246
6.6.1贝叶斯判别与神经网络 246
6.6.2作为概率的输出 247
6.7相关的统计技术247
6.8改进反向传播的一些实用技术248
6.8.1激活函数 249
6.8.2sigmoid函数的参数250
6.8.3输入信号尺度变换 250
6.8.4目标值251
6.8.5带噪声的训练法 251
6.8.6人工“制造”数据 251
6.8.7隐单元数 251
6.8.8权值初始化 252
6.8.9学习率253
6.8.10冲量项254
6.8.11权值衰减255
6.8.12线索255
6.8.13在线训练、随机训练或成批训练256
6.8.14停止训练256
6.8.15隐含层数256
6.8.16误差准则函数257
6.9二阶技术257
6.9.1赫森矩阵 258
6.9.2牛顿法258
6.9.3Quickprop算法259
6.9.4共轭梯度法 259
6.10其他网络和训练算法262
6.10.1径向基函数网络262
6.10.2特殊的基函数263
6.10.3匹配滤波器263
6.10.4卷积网络264
6.10.5递归网络265
6.10.6级联相关266
6.11正则化、复杂度调节和剪枝267
本章小结269
文献和历史评述269
习题271
上机练习277
参考文献280
第7章随机方法 284
7.1引言 284
7.2随机搜索284
7.2.1模拟退火 286
7.2.2玻耳兹曼因子286
7.2.3确定性模拟退火 289
7.3玻耳兹曼学习291
7.3.1可见状态的随机玻耳兹曼学习292
7.3.2丢失特征和类别约束295
7.3.3确定性玻耳兹曼学习297
7.3.4初始化和参数设置 297
7.4玻耳兹曼网络和图示模型 300
7.5进化方法302
7.5.1遗传算法 302
7.5.2其他启发式方法305
7.5.3遗传算法如何起作用306
7.6遗传规划306
本章小结308
文献和历史评述308
习题309
上机练习313
参考文献315
第8章非度量方法 318
8.1引言 318
8.2判定树 318
8.3CART 320
8.3.1分支数目 320
8.3.2查询的选取与节点不纯度 320
8.3.3分支停止准则324
8.3.4剪枝 325
8.3.5叶节点的标记326
8.3.6计算复杂度 327
8.3.7特征选择 328
8.3.8多元判定树 329
8.3.9先验概率和代价函数329
8.3.10属性丢失问题330
8.4其他树方法 331
8.4.1ID3331
8.4.2C4.5 332
8.4.3哪种树分类器是最优的 332
8.5串的识别333
8.5.1串匹配334
8.5.2编辑距离 336
8.5.3计算复杂度 338
8.5.4容错的串匹配338
8.5.5带通配符的串匹配 339
8.6文法方法339
8.6.1文法 340
8.6.2串文法的类型341
8.6.3利用文法的识别 343
8.7文法推断345
8.8基于规则的方法347
本章小结350
文献和历史评述350
习题351
上机练习358
参考文献362
第9章独立于算法的机器学习 365
9.1引言 365
9.2没有天生优越的分类器366
9.2.1没有免费的午餐定理366
9.2.2丑小鸭定理 369
9.2.3最小描述长度372
9.2.4最小描述长度原理 373
9.2.5避免过拟合及Occam剃刀原理374
9.3偏差和方差 375
9.3.1回归中的偏差和方差关系376
9.3.2分类中的偏差和方差关系377
9.4统计量估计中的重采样技术 380
9.4.1刀切法(jackknife)380
9.4.2自助法(bootstrap)382
9.5分类器设计中的重采样技术 383
9.5.1bagging算法383
9.5.2boosting法 384
9.5.3基于查询的学习 387
9.5.4arcing、基于查询的学习、偏差和方差 388
9.6分类器的评价和比较 389
9.6.1参数模型 389
9.6.2交叉验证 389
9.6.3分类准确率的“刀切法”和“自助法”估计 390
9.6.4最大似然模型比较391
9.6.5贝叶斯模型比较 392
9.6.6问题平均误差率 394
9.6.7从学习曲线预测最终性能 396
9.6.8单个分割平面的能力397
9.7组合分类器 398
9.7.1有判别函数的分量分类器 399
9.7.2无判别函数的分量分类器 400
本章小结401
文献和历史评述402
习题403
上机练习408
参考文献412
第10章无监督学习和聚类416
10.1引言416
10.2混合密度和可辨识性416
10.3最大似然估计418
10.4对混合正态密度的应用419
10.4.1情况1：均值向量未知 419
10.4.2情况2：所有参数未知 422
10.4.3均值聚类423
10.4.4模糊均值聚类 425
10.5无监督贝叶斯学习426
10.5.1贝叶斯分类器426
10.5.2参数向量的学习427
10.5.3判定导向的近似解431
10.6数据描述和聚类432
10.7聚类的准则函数435
10.7.1误差平方和准则436
10.7.2相关的最小方差准则436
10.7.3散布准则437
10.8迭代最优化 440
10.9层次聚类442
10.9.1定义442
10.9.2基于合并的层次聚类方法444
10.9.3逐步优化的层次聚类446
10.9.4层次聚类和导出度量447
10.10验证问题447
10.11在线聚类449
10.11.1聚类数目未知 451
10.11.2自适应共振网 452
10.11.3基于评判的学习 454
10.12图论方法455
10.13成分分析 456
10.13.1主成分分析456
10.13.2非线性成分分析 457
10.13.3独立成分分析458
10.14低维数据表示和多维尺度变换460
10.14.1自组织特征映射 462
10.14.2聚类与降维465
本章小结466
文献和历史评述467
习题468
上机练习475
参考文献479
附录A数学基础 481
索引 512
前言
第1章绪论1
1.1机器感知1
1.2一个例子1
1.3模式识别系统7
1.3.1传感器7
1.3.2分割和组织8
1.3.3特征提取8
1.3.4分类器9
1.3.5后处理10
1.4设计循环11
1.4.1数据采集11
1.4.2特征选择11
1.4.3模型选择12
1.4.4训练12
1.4.5评价12
1.4.6计算复杂度12
1.5学习和适应12
1.5.1有监督学习13
1.5.2无监督学习13
1.5.3强化学习13
1.6本章小结13
全书各章概要13
文献和历史评述14
参考文献15
第2章贝叶斯决策论16
2.1引言16
2.2贝叶斯决策论——连续特征18
2.3最小误差率分类20
2.3.1极小化极大准则21
2.3.2NeymanPearson准则22
2.4分类器、判别函数及判定面23
2.4.1多类情况23
2.4.2两类情况24
2.5正态密度25
2.5.1单变量密度函数25
2.5.2多元密度函数26
2.6正态分布的判别函数28
2.6.1情况1：Σi=σ2I28
2.6.2情况2：Σi=Σ30
2.6.3情况3：Σi＝任意32
2.7误差概率和误差积分35
2.8正态密度的误差上界36
2.8.1Chernoff界36
2.8.2Bhattacharyya界37
2.8.3信号检测理论和操作特性38
2.9贝叶斯决策论——离散特征40
2.9.1独立的二值特征41
2.10丢失特征和噪声特征43
2.10.1丢失特征43
2.10.2噪声特征44
2.11贝叶斯置信网44
2.12复合贝叶斯决策论及上下文49
本章小结50
文献和历史评述51
习题52
上机练习63
参考文献65
第3章最大似然估计和贝叶斯参数估计67
3.1引言67
3.2最大似然估计68
3.2.1基本原理68
3.2.2高斯情况：μ未知70
3.2.3高斯情况：μ和Σ均未知 71
3.2.4估计的偏差72
3.3贝叶斯估计73
3.3.1类条件密度73
3.3.2参数的分布73
3.4贝叶斯参数估计：高斯情况74
3.4.1单变量情况：p(μ｜)74
3.4.2单变量情况：p(x｜)76
3.4.3多变量情况77
3.5贝叶斯参数估计：一般理论78
3.5.1最大似然方法和贝叶斯方法何时有区别 81
3.5.2无信息先验和不变性82
3.5.3Gibbs算法83
3.6充分统计量83
3.7维数问题87
3.7.1精度、维数和训练集的大小90
3.7.2计算复杂度90
3.7.3过拟合92
3.8成分分析和判别函数94
3.8.1主成分分析94
3.8.2Fisher线性判别分析96
3.8.3多重判别分析99
3.9期望最大化算法102
3.10隐马尔可夫模型105
3.10.1一阶马尔可夫模型105
3.10.2一阶隐马尔可夫模型106
3.10.3隐马尔可夫模型的计算106
3.10.4估值问题107
3.10.5解码问题111
3.10.6学习问题113
本章小结114
文献和历史评述115
习题115
上机练习127
参考文献130
第4章非参数技术132
4.1引言132
4.2概率密度的估计132
4.3Parzen窗方法134
4.3.1均值的收敛性137
4.3.2方差的收敛性137
4.3.3举例说明137
4.3.4分类的例子140
4.3.5概率神经网络141
4.3.6窗函数的选取143
4.4n近邻估计143
4.4.1n近邻估计和Parzen窗估计144
4.4.2后验概率的估计145
4.5最近邻规则146
4.5.1最近邻规则的收敛性147
4.5.2最近邻规则的误差率148
4.5.3误差界149
4.5.4近邻规则150
4.5.5近邻规则的计算复杂度151
4.6距离度量和最近邻分类153
4.6.1度量的性质154
4.6.2切空间距离155
4.7模糊分类157
4.8RCE网络160
4.9级数展开逼近161
本章小结163
文献和历史评述164
习题165
上机练习171
参考文献175
第5章线性判别函数177
5.1引言 177
5.2线性判别函数和判定面177
5.2.1两类情况 177
5.2.2多类的情况 179
5.3广义线性判别函数 180
5.4两类线性可分的情况 183
5.4.1几何解释和术语 183
5.4.2梯度下降算法184
5.5感知器准则函数最小化186
5.5.1感知器准则函数 186
5.5.2单个样本校正的收敛性证明187
5.5.3一些直接的推广 190
5.6松弛算法192
5.6.1下降算法 192
5.6.2收敛性证明 194
5.7不可分的情况 195
5.8最小平方误差方法196
5.8.1最小平方误差及伪逆196
5.8.2与Fisher线性判别的关系 198
5.8.3最优判别的渐近逼近199
5.8.4WidrowHoff 算法或最小均方算法 201
5.8.5随机逼近法 202
5.9HoKashyap算法203
5.9.1下降算法 204
5.9.2收敛性证明 205
5.9.3不可分的情况206
5.9.4一些相关的算法 207
5.10线性规划算法209
5.10.1线性规划209
5.10.2线性可分情况209
5.10.3极小化感知器准则函数210
5.11支持向量机 211
5.12推广到多类问题216
5.12.1Kesler构造法217
5.12.2固定增量规则的收敛性217
5.12.3MSE算法的推广 218
本章小结220
文献和历史评述220
习题221
上机练习226
参考文献229
第6章多层神经网络230
6.1引言 230
6.2前馈运算和分类231
6.2.1一般的前馈运算 233
6.2.2多层网络的表达能力233
6.3反向传播算法 235
6.3.1网络学习 236
6.3.2训练协议 239
6.3.3学习曲线 240
6.4误差曲面241
6.4.1一些小型网络241
6.4.2异或问题242
6.4.3较大型的网络243
6.4.4关于多重极小243
6.5反向传播作为特征映射243
6.5.1隐含层的内部表示——权值 244
6.6反向传播、贝叶斯理论及概率246
6.6.1贝叶斯判别与神经网络 246
6.6.2作为概率的输出 247
6.7相关的统计技术247
6.8改进反向传播的一些实用技术248
6.8.1激活函数 249
6.8.2sigmoid函数的参数250
6.8.3输入信号尺度变换 250
6.8.4目标值251
6.8.5带噪声的训练法 251
6.8.6人工“制造”数据 251
6.8.7隐单元数 251
6.8.8权值初始化 252
6.8.9学习率253
6.8.10冲量项254
6.8.11权值衰减255
6.8.12线索255
6.8.13在线训练、随机训练或成批训练256
6.8.14停止训练256
6.8.15隐含层数256
6.8.16误差准则函数257
6.9二阶技术257
6.9.1赫森矩阵 258
6.9.2牛顿法258
6.9.3Quickprop算法259
6.9.4共轭梯度法 259
6.10其他网络和训练算法262
6.10.1径向基函数网络262
6.10.2特殊的基函数263
6.10.3匹配滤波器263
6.10.4卷积网络264
6.10.5递归网络265
6.10.6级联相关266
6.11正则化、复杂度调节和剪枝267
本章小结269
文献和历史评述269
习题271
上机练习277
参考文献280
第7章随机方法 284
7.1引言 284
7.2随机搜索284
7.2.1模拟退火 286
7.2.2玻耳兹曼因子286
7.2.3确定性模拟退火 289
7.3玻耳兹曼学习291
7.3.1可见状态的随机玻耳兹曼学习292
7.3.2丢失特征和类别约束295
7.3.3确定性玻耳兹曼学习297
7.3.4初始化和参数设置 297
7.4玻耳兹曼网络和图示模型 300
7.5进化方法302
7.5.1遗传算法 302
7.5.2其他启发式方法305
7.5.3遗传算法如何起作用306
7.6遗传规划306
本章小结308
文献和历史评述308
习题309
上机练习313
参考文献315
第8章非度量方法 318
8.1引言 318
8.2判定树 318
8.3CART 320
8.3.1分支数目 320
8.3.2查询的选取与节点不纯度 320
8.3.3分支停止准则324
8.3.4剪枝 325
8.3.5叶节点的标记326
8.3.6计算复杂度 327
8.3.7特征选择 328
8.3.8多元判定树 329
8.3.9先验概率和代价函数329
8.3.10属性丢失问题330
8.4其他树方法 331
8.4.1ID3331
8.4.2C4.5 332
8.4.3哪种树分类器是最优的 332
8.5串的识别333
8.5.1串匹配334
8.5.2编辑距离 336
8.5.3计算复杂度 338
8.5.4容错的串匹配338
8.5.5带通配符的串匹配 339
8.6文法方法339
8.6.1文法 340
8.6.2串文法的类型341
8.6.3利用文法的识别 343
8.7文法推断345
8.8基于规则的方法347
本章小结350
文献和历史评述350
习题351
上机练习358
参考文献362
第9章独立于算法的机器学习 365
9.1引言 365
9.2没有天生优越的分类器366
9.2.1没有免费的午餐定理366
9.2.2丑小鸭定理 369
9.2.3最小描述长度372
9.2.4最小描述长度原理 373
9.2.5避免过拟合及Occam剃刀原理374
9.3偏差和方差 375
9.3.1回归中的偏差和方差关系376
9.3.2分类中的偏差和方差关系377
9.4统计量估计中的重采样技术 380
9.4.1刀切法(jackknife)380
9.4.2自助法(bootstrap)382
9.5分类器设计中的重采样技术 383
9.5.1bagging算法383
9.5.2boosting法 384
9.5.3基于查询的学习 387
9.5.4arcing、基于查询的学习、偏差和方差 388
9.6分类器的评价和比较 389
9.6.1参数模型 389
9.6.2交叉验证 389
9.6.3分类准确率的“刀切法”和“自助法”估计 390
9.6.4最大似然模型比较391
9.6.5贝叶斯模型比较 392
9.6.6问题平均误差率 394
9.6.7从学习曲线预测最终性能 396
9.6.8单个分割平面的能力397
9.7组合分类器 398
9.7.1有判别函数的分量分类器 399
9.7.2无判别函数的分量分类器 400
本章小结401
文献和历史评述402
习题403
上机练习408
参考文献412
第10章无监督学习和聚类416
10.1引言416
10.2混合密度和可辨识性416
10.3最大似然估计418
10.4对混合正态密度的应用419
10.4.1情况1：均值向量未知 419
10.4.2情况2：所有参数未知 422
10.4.3均值聚类423
10.4.4模糊均值聚类 425
10.5无监督贝叶斯学习426
10.5.1贝叶斯分类器426
10.5.2参数向量的学习427
10.5.3判定导向的近似解431
10.6数据描述和聚类432
10.7聚类的准则函数435
10.7.1误差平方和准则436
10.7.2相关的最小方差准则436
10.7.3散布准则437
10.8迭代最优化 440
10.9层次聚类442
10.9.1定义442
10.9.2基于合并的层次聚类方法444
10.9.3逐步优化的层次聚类446
10.9.4层次聚类和导出度量447
10.10验证问题447
10.11在线聚类449
10.11.1聚类数目未知 451
10.11.2自适应共振网 452
10.11.3基于评判的学习 454
10.12图论方法455
10.13成分分析 456
10.13.1主成分分析456
10.13.2非线性成分分析 457
10.13.3独立成分分析458
10.14低维数据表示和多维尺度变换460
10.14.1自组织特征映射 462
10.14.2聚类与降维465
本章小结466
文献和历史评述467
习题468
上机练习475
参考文献479
附录A数学基础 481
索引 512
