模式识别和机器学习基础

适读人群 ：机器学习、人工智能相关领域的技术人员和学生
本书没有对模式识别和机器学习进行百科全书式的介绍，而是精选了核心内容，使读者在学习本书后能够精通核心知识点。本书广泛使用Python脚本和真实的生物信息学和材料信息学数据集来说明理论的要点。

模式识别和机器学习是人工智能应用的基础。本书将模式识别任务按照监督学习和无监督学习两种方式进行组织。第1章讨论模式识别和机器学习的内在关系，介绍了两者的基础知识和模式识别的设计过程。第2章和第3章介绍了优化的和常规的基于实例的分类问题。第4~6章检验了参数的、非参数的和函数逼近的分类规则。之后在第7章和第8章就分类的误差估计和模型选择对分类模型的性能进行讨论。第9章介绍了能够提高分类模型的性能并减少存储空间的降维技术。第10章和第11章分别介绍了聚类分析技术和回归模型。本书适合相关专业高年级本科生和研究生，以及该领域的从业人员阅读。

目录

Fundamentals of Pattern Recognition and Machine Learning

译者序

前言

第1章概述11.1模式识别与机器学习1

1.2数学基础设置1

1.3预测2

1.4预测误差2

1.5监督学习与无监督学习3

1.6复杂性权衡3

1.7设计周期4

1.8应用实例5

1.8.1生物信息学5

1.8.2材料信息学7

1.9文献注释9

第2章最优分类102.1无特征分类10

2.2有特征分类10

2.3贝叶斯分类器13

2.4贝叶斯误差16

2.5高斯模型19

2.5.1同方差情况20

2.5.2异方差情况22

2.6其他主题22

2.6.1极小极大分类22

2.6.2F误差24

2.6.3贝叶斯决策理论26

*2.6.4分类问题的严格表达27

2.7文献注释28

2.8练习29

2.9Python作业33

第3章基于实例的分类363.1分类规则36

3.2分类错误率38

*3.3一致性38

3.4没有免费午餐定理41

3.5其他主题42

3.5.1集成分类42

3.5.2混合抽样与独立抽样43

3.6文献注释44

3.7练习44

3.8Python作业45

第4章参数分类474.1参数替换规则47

4.2高斯判别分析48

4.2.1线性判别分析48

4.2.2二次判别分析51

4.3逻辑斯谛分类53

4.4其他主题54

4.4.1正则化判别分析54

*4.4.2参数规则的一致性55

4.4.3贝叶斯参数规则57

4.5文献注释59

4.6练习60

4.7Python作业62

第5章非参数分类645.1非参数替换规则64

5.2直方图分类65

5.3最近邻分类66

5.4核分类68

5.5CoverHart定理70

*5.6Stone定理73

5.7文献注释74

5.8练习75

5.9Python作业76

第6章函数逼近分类786.1支持向量机78

6.1.1可分数据的线性支持

向量机78

6.1.2一般线性支持向量机80

6.1.3非线性支持向量机82

6.2神经网络86

6.2.1反向传播训练89

6.2.2卷积神经网络92

*6.2.3神经网络的普遍逼近

性质94

6.2.4普遍一致性定理96

6.3决策树97

6.4有序分类器100

6.5文献注释101

6.6练习102

6.7Python作业104

第7章分类误差估计1087.1误差估计规则108

7.2误差估计性能109

7.2.1偏差分布109

7.2.2偏差、方差、均方根和

尾概率110

*7.2.3一致性111

7.3测试集误差估计112

7.4再代入误差估计113

7.5交叉验证114

7.6自助方法116

7.7增强误差估计118

7.8其他主题121

7.8.1凸误差估计器121

7.8.2平滑误差估计器123

7.8.3贝叶斯误差估计123

7.9文献注释126

7.10练习127

7.11Python作业129

第8章分类模型选择1318.1分类复杂性131

8.2VapnikChervonenkis理论134

*8.2.1有限模型选择134

8.2.2打散系数与VC维度135

8.2.3几种分类规则中的VC

参数136

8.2.4VapnikChervonenkis

定理139

8.2.5没有免费午餐定理139

8.3模型选择方法140

8.3.1验证误差最小化140

8.3.2训练集误差最小化141

8.3.3结构性风险最小化141

8.4文献注释142

8.5练习143

第9章降维1459.1面向分类任务的特征提取145

9.2特征选择146

9.2.1穷举搜索146

9.2.2单变量贪婪搜索147

9.2.3多变量贪婪搜索149

9.2.4特征选择与分类复杂性150

9.2.5特征选择与误差估计150

9.3主成分分析152

9.4多维缩放155

9.5因子分析156

9.6文献注释158

9.7练习159

9.8Python作业160

第10章聚类16210.1KMeans算法162

10.2高斯混合模型165

10.2.1期望最大化方法166

10.2.2与KMeans的关系170

10.3层次聚类171

10.4自组织映射173

10.5文献注释174

10.6练习175

10.7Python作业176

第11章回归17811.1最优回归178

11.2

前言


Fundamentals of Pattern Recognition and Machine Learning

“只有受过教育的人才是自由的。”
——古希腊哲学家爱比克泰德（Epictetus）
模式识别和机器学习领域的发展有着悠久而成就卓著的历史。单就教材而言，已有很多该领域的优秀教材，那么我们需要回答为什么仍需要一本全新的教材。本书致力于通过简明的介绍，将理论和实践相结合并且让其更适用于课堂教学。本书的重点是基于Python编程语言对近期的新方法和应用实例予以展示。本书不会试图对模式识别和机器学习进行百科全书式的面面俱到的介绍，因为该领域发展很快，这种介绍方式是不可能实现的。一本简明的教科书必须有严格的选材要求，本书所选的主题在一定程度上不可避免会取决于我自己的经验和喜好，但我相信它能够使读者精通这一领域所必须掌握的核心知识。本书只要求读者具备本科水平的微积分和概率论知识，同时附录中包含了研究生水平的概率论知识的简要回顾以及书中所需的其他数学方法。
本书是从我在得克萨斯农工大学讲授了十多年的模式识别、生物信息学和材料信息学研究生课程的讲稿发展而来的。本书旨在通过恰当的选题（详细见后），在模式识别或机器学习方面，满足一个或两个学期的具有高年级本科层次或研究生层次的初级课程的教学需求。虽然本书是为课堂教学设计的，但它也可有效地用于自学。
本书并没有对理论知识进行回避，因为对理论知识的理解对于模式识别和机器学习的教学过程尤为重要。模式识别和机器学习领域充满经典的定理，如CoverHart定理、Stone定理及其推论、VapnikChervonenkis定理等。然而，本书试图在理论和实践之间获取平衡。特别是，用贯穿全书的生物信息学和材料信息学的应用数据集实例来解释理论。这些数据集也被用在章末的Python作业中。书中所有的插图都是使用Python脚本生成的，可以从本书的网站下载。鼓励读者用这些脚本做试验并在Python作业中使用它们。本书的网站还包含来自生物信息学和材料信息学应用的数据集，绘图和Python作业中会用到它们。根据我在课堂上的经验，一旦学生完成了Python作业并使用了来自真实应用的数据，他们对主题的理解就会显著提升。
本书的组织结构如下。第1章是对主题动机的概括性介绍。第2～8章涉及分类问题。第2章和第3章是分类的基础章节，主要涉及最优化的和常规的基于实例的分类问题。第4～6章检验了三类主要的分类规则：参数的、非参数的和函数逼近的。第7章和第8章涉及分类的误差估计和模型选择。第9章不仅对分类问题的降维方法进行研究，也包括关于无监督方法的学习材料。最后，第10章和第11章讨论了聚类和回归问题。教师或读者可以灵活地从这些章节中选择主题，并以不同的顺序使用它们。特别是，部分章节末尾的“其他主题”部分涵盖了杂项主题内容，在教学中可以包括也可以不包括这些主题，不会影响课程的连续性。此外，为了方便教师和读者，书中用星号标记了专业性更强的章节，这些部分可以在初读时跳过。
大多数章节末尾的练习部分都包含各种难度的问题，练习中的一些是本章所讨论概念的直接应用，而另一些则介绍了新的概念和理论的扩展，其中有些可能值得在课堂上讨论。大多数章节末尾的Python作业要求读者使用Python语言和scikitlearn工具包实现本章中讨论的方法，并将它们应用于生物信息学和材料信息学应用中的合成和真实数据集。
根据我的教学经验，建议在课堂上按照如下方式使用本书：
1一个学期的课程重点可集中在分类问题上，讲授内容包括第2～9章，包括大多数标有星号的小节和其他主题部分。
2面向应用的一学期课程，授课内容可跳过第2～8章中的大部分或所有标有星号的小节和其他主题部分，涵盖第9～11章的内容，同时重点讲解各章的Python作业。
3涵盖整本书的两个学期课程的教学内容包括大部分或所有标有星号的小节以及其他主题部分。
本书的出版要归功于几位前辈。首先，Duda和Hart的经典教材（1973年首次出版，2001年的第2版加入了Stork作为共同作者）几十年来一直是该领域的标准参考材料。此外，Devroye，Gyrfi and Lugosi［1996］本书以“作者［年份］”的形式来指代该作者于该年份发表或出版的论文或著作。 现在仍然是非参数模式识别的黄金标准。其他对本书存在影响的资料来源包括McLachlan［1992］、Bishop［2006］、Webb［2002］和James et al［2013］。
我要感谢所有现在和过去的合作者，他们帮助我塑造对模式识别和机器学习领域的理解架构。同样，我也要感谢所有的学生，无论是由我指导过他们的研究，还是参加过我讲座的学生，他们都对本书的内容提出了自己的观点和修改意见。我要感谢Ed Dougherty、Louise Strong、John Goutsias、Ascendino Dias e Silva、Roberto Lotufo、Junior Barrera和 Severino Toscano，我从他们身上受益匪浅。感谢Ed Dougherty、Don Geman、Al Hero和 Gábor Lugosi，在编写本书的时候他们提供了对本书的评论和对我的鼓励。我很感谢Caio Davi，他为本书绘制了几幅插图。非常感谢当我在纽约市处于困难时期时由Paul Drougas在施普林格提供的专家援助。最后，感谢我的妻子Flávia以及我的孩子Maria Clara和Ulisses，感谢他们在本书的写作过程中对我充满耐心，并提供了一如既往的支持。
Ulisses BragaNeto
得克萨斯学院站
2020年7月