面向分类的集成学习算法：基础理论与分析

　　作为一类先进的机器学习方法，多分类器集成技术将多个单体学习器按照一定的规则集成起来，充分利用个体学习器之间的互补性，以取得更好的泛化能力和健壮性。
　　《面向分类的集成学习算法：基础理论与分析》全书分为三部分，首部分主要介绍集成学习的相关背景，即关于分类器的相关基础理论。第二部分主要介绍集成学习方法的核心知识，诸如多分类器集成的框架、集成规则和性能评估等理论；Boosting、Bagging、Stacking和随机森林（Random Forests）等经典算法；除此之外，还介绍典型的动态集成方法以及集成聚类算法相关基本概念。第三部分介绍集成学习方法的扩展议题，给出集成学习在半监督学习、主动学习和类别不平衡学习等领域的应用。
　　《面向分类的集成学习算法：基础理论与分析》的主要受众是具有一定机器学习和模式识别基础知识的读者，也供机器学习和模式识别爱好者阅读参考。

第1章 分类器理论基础
1．1 数据挖掘
1．2 学习任务的种类
1．3 分类的概念
1．4 基于统计的分类技术
1．5 基于决策树的分类方法
1．6 基于神经网络的方法
1．7 分类器性能评估

第2章 多分类器集成技术概述
2．1 集成学习的基本概念
2．2 集成学习的作用
2．3 多分类器集成有效性的原因
2．4 多分类器集成框架
2．5 基分类器的集成规则
2．6 多分类器性能评估

第3章 多分类器集成技术
3．1 Boosting算法
3．2 Bagging算法
3．3 两种经典集成方法中样本加权分析
3．4 Stacking算法
3．5 随机子空间方法
3．6 随机森林集成

第4章 多分类器动态集威算法
4．1 多分类器动态集成框架
4．2 基于KNN准则的动态集成
4．3 基于聚类准则的动态集成
4．4 基于不同数据集的动态集成
4．5 多分类器动态集成算法分析

第5章 基于分类器选择的集成学习算法
5．1 选择集成的提出
5．2 选择性集成的理论基础
5．3 选择性集成算法GASEN
5．4 选择性集成的不足和发展方向
5．5 集成剪枝

第6章 聚类集成
6．1 聚类
6．2 聚类集成
6．3 经典聚类集成算法介绍

第7章 集成学习扩展议题
7．1 半监督学习
7．2 主动学习
7．3 类别不平衡学习
7．4 关于集成学习的一点启示

　　随着海量数据的广泛产生和应用，数据挖掘技术应运而生。作为数据挖掘领域中的基本问题之一，分类技术引起了广大学者的极大关注。目前存在着很多分类技术，如决策树、支持向量机等。为了达到比较好的预测效果，传统的分类操作，常常通过训练集产生多个分类模型，再用测试集对其分类性能进行逐个测试，把性能最好的一个作为最终的分类模型。但人们在研究过程中发现，单个分类器的性能有限，很难通过改进单个分类器达到实际所要求的效果。对多个单分类器进行有效的组合，既可以提高分类的性能，又可以保证预测结果的稳定性，其性能甚至超过了多个单分类器当中最好的一个，因此人们对分类集成学习的研究越来越重视。同时，由于对单个分类器的分类性能要求不高，也促成了人们对分类集成学习进行大量研究，此时单分类器的性能仅要求达到或高于随机猜测的效果即可。
　　分类集成学习技术主要包括两个方面：一个方面是单个分类器的生成方式，在分类集成学习中，把这种单分类器称为基分类器或基学习器；另一个方面是基分类器的组合方式。基分类器的生成方式主要是产生有差异性的基分类器，而基分类器的组合方式是解决如何有效地融合生成的基分类器，使之产生最好的分类性能。目前对分类集成学习的研究已经有一些成果，但还存在很多没有确定的问题：首先是集成过程中的基分类器数目选择问题，选择多少个基分类器用于集成才能取得最好的分类性能尚无定论；其次是基分类器之间差异性与准确率之间的关系，因为差异性和准确性存在着负相关关系，因此二者不可兼顾，虽然集成学习中对基分类器的准确性要求不高，但如果一味地去追求差异性必然导致准确性的急速下降，达不到集成学习要求的准确性；再次是基分类器类型的选择问题，运用同样的基分类器组合方法，但如果基分类器的类型不同，最终产生的分类性能会大不相同。诸如此类的问题还需要进一步进行研究。因此，自从20世纪90年代以来，集成学习方法就成为一个热门的研究课题，吸引了来自机器学习、模式识别、数据挖掘、神经网络和统计等领域的众多研究人员。
　　本书面向研究人员、学生和实践者介绍集成学习方法。全书共7章，分为三部分。
　　第一部由第1章构成，主要介绍分类器理论基础。本书的主要受众是具有一定机器学习和模式识别基础知识的读者，但是为使不了解相关内容的读者也能尽量读懂本书的主要内容，著者从数据挖掘理论开始介绍，然后在本章中简要概述分类器理论的基础知识。