半监督学习是近年来机器学习领域中的热点问题,其研究如何利用少量的标记样本和大量的未标记样本训练学习机器, 并且通过未标记样本来改善学习机器的推广性能。本书致力于分析大数据环境下的具有隐私保护性能的半监督学习算法设计与理论分析。其主要内容包括：图正则化半监督算法的设计与稀疏性研究，如何从理论上给出误差分析；保护用户隐私的熵正则化半监督算法。同时，提出熵正则化半监督算法的误差分析方案，建立其收敛速率。*后，展开对设计算法的隐私保护性能分析的研究。

半监督学习是近年来机器学习领域中的热点问题,其研究如何利用少量的标记样本和大量的未标记样本训练学习机器, 并且通过未标记样本来改善学习机器的推广性能。本书致力于分析大数据环境下的具有隐私保护性能的半监督学习算法设计与理论分析。其主要内容包括：图正则化半监督算法的设计与稀疏性研究，如何从理论上给出误差分析；保护用户隐私的熵正则化半监督算法。同时，提出熵正则化半监督算法的误差分析方案，建立其收敛速率。*后，展开对设计算法的隐私保护性能分析的研究。

"左玲，湖北工业大学，理学院，副教授研究方向和主要研究内容：机器学习，半监督学习算法的构造与理论分析。教育经历（从大学本科开始，按时间倒序排序）：2010/09–2014/12，湖北大学，数学与统计学学院数学系，博士，导师：李落清2003/09–2006/06，湖北大学，数计学院应用数学系，硕士，导师：李落清1999/09–2003/06，湖北大学，数计学院数学与应用数学系，学士主持或参与科研项目（按时间倒序排序）：国家自然科学基金青年基金项目，61702167，大数据环境下保护用户隐私的半监督学习算法研究，2018/01–2020/12，26万元，主持。期刊论文（按时间倒序排序）：[1] Ling Zuo, Yulong Wang. Error analysis for the semi-supervised algorithm under maximum correntropy criterion. Neurocomputing, 223: 45-53, 2017. (SCI二区)[2] Fangchao He, Ling Zuo, Hong Chen. Stability analysis for ranking with stationary φ-mixing samples. Neurocomputing, 171: 1556-1562, 2016. (SCI二区)[3] Ling Zuo, Luoqing Li, Chen Chen. The graph based semi-supervised algorithm with L1-regularizer. Neurocomputing, 149: 966-974, 2015. (SCI二区)"

目录
第1章绪论(1)
1.1机器学习及其飞速发展(1)
1.2大数据环境下的半监督学习(2)
第2章半监督学习的背景知识(3)
2.1半监督学习的提出(3)
2.2半监督学习的基本假设(5)
2.3半监督学习的典型方法(8)
2.4半监督学习的一些理论结果(12)
2.4.1基于聚类假设的半监督学习算法(12)
2.4.2基于图的半监督学习算法(17)
第3章基于图的稀疏半监督学习算法(23)
3.1大样本的稀疏流形正则化(23)
3.2基于缩略图的稀疏半监督学习(28)
第4章勒让德共轭在半监督学习算法中的应用(34)
4.1勒让德共轭的概念(34)
4.2稀疏多视角支持向量机(37)
4.3基于图的稀疏半监督学习算法(42)
4.3.1算法优化(46)
4.3.2误差分析(50)
4.3.3主要结果(54)
4.3.4实验结果(56)
4.4小结(59)
第5章基于图和系数正则化的半监督学习算法(60)
5.1基于系数正则化的监督学习算法(60)
5.2基于图和系数正则化的半监督学习算法介绍(61)
5.2.1学习速率(63)
5.2.2算法稀疏性(65)
5.3小结(66)
第6章总结与展望(67)
参考文献(69)

大数据环境下，半监督学习逐渐发展为机器学习领域中的热点问题, 也产生了许多相关的成果. 其利用少量的标记样本和大量的未标记样本训练学习机器, 并且通过未标记样本来改善学习机器的推广性能.
当假设高维数据是嵌入在低维空间中的一个子流形上时, 基于图的半监督算法是一类有效的学习算法. 这类算法利用少量的标记样本和大量的未标记样本构造图, 从而挖掘数据内在的结构, 提高学习机器的推广性能. 大量实验和理论都表明了此类算法的有效性.
基于图的半监督算法的一个不足是其学习出的*优决策函数是在所有训练样本点上的展开式. 互联网的蓬勃发展催生了海量数据的产生，这为半监督学习的发展提供了丰沃的土壤。然而，这也对半监督学习的技术提出了更高的要求。在大数据环境下，未标记样本的数量是巨大的.这势必会产生很大的计算量, 影响学习机器的推广性能.
针对这个问题, 近年来产生了一些稀疏的基于图的半监督学习算法.本章介绍一些经典的基于图的稀疏半监督学习算法及其理论结果, 例如: Tsang和Kwok在2006年提出的基于图的稀疏半监督学习算法\citeu{Tsang2007}. Sun等人在\citeu{SunSL2014}中提出的保持流形结构的缩略图的稀疏半监督学习算法.

3.1 大样本的稀疏流形正则化
Tsang和Kwok在文献[?]中提出了一种基于稀疏流形正则化因子（sparsified manifold regularizer）的半监督算法.通过将此算法转化为一个*小闭球问题（minimum enclosing ball problem）求解出该算法的解.理论分析说明该算法具有较低的时间复杂度和空间复杂度，并且能够处理大样本数据.本节简要介绍该算法及其优化方法.
给定一组训练样本 ，其中 ， .正则化的风险泛函是由在所有样本上的经验损失和正则化子 组成.假设 是一个核函数， 是其对应的再生核希尔伯特空间，那么在此空间中*小化风险泛函即求解优化问题
.
这里 是指函数在再生核希尔伯特空间中的范数， 是正则化参数.由表示定理知上述优化问题的解具有表达式

在半监督学习中，学习机器根据少量的标记样本 和大量的未标记样本 训练出决策函数.流形正则化方法通过添加一个正则化因子 来保证函数 在输入数据上的内在结构.即求解问题：

前言
近年来，机器学习算法飞速发展，在社会经济、教育等方面都扮演着越来越重要的角色.半监督学习算法是机器学习中的一类重要算法，其探讨如何利用少量的标记样本和大量的未标记样本来找寻*优决策函数.围绕着半监督学习算法的模型构造、算法设计、误差分析以及仿真实验等问题都引起了人们的广泛关注.本书将向读者全面介绍半监督学习的背景知识，结合经典的半监督学习算法及其理论分析，了解半监督学习中的重要研究问题以及相应的解决方法.同时，在互联网蓬勃发展的今天，探讨半监督学习在未来的研究方向.本书可以作为本科生或研究生从事半监督学习方向研究的参考资料，也可以为对机器学习感兴趣的从业者提供帮助.全书共六章.第1章是绪论，为大家介绍大数据环境下，半监督学习的发展状况.第2章介绍半监督学习的背景知识与基本框架.第3章探讨在流形假设下的半监督学习，分析了一类重要的半监督学习算法——基于图的稀疏半监督学习算法，包含半监督学习算法的模型构造、算法设计以及相关的理论分析.第4章介绍了一种重要的半监督学习算法中的分析工具——勒让德共轭，讨论了其在优化半监督学习算法过程中发挥的作用，并且结合具体的稀疏半监督学习算法，分析勒让德共轭的优化过程.同时，展示了这类半监督学习算法相关的实验仿真结果.第5章探讨了基于图与系数正则化的半监督学习算法.通过对系数正则化方法的介绍，展示了这类半监督学习算法的设计框架、构造方法与理论分析结果.第6章探讨了半监督学习在未来的发展方向，以及一些有待解决的问题和需进一步关注的方面.在本书的编写过程中，得到了许多人的真诚帮助与大力支持.感谢家人的理解，让我能够心无旁骛，集中精力完成书稿的编写.感谢华中科技大学出版社的大力支持以及编辑们的认真校对.本书是在国家自然科学基金青年基金项目（61702167）的资助下完成的.近年来，半监督学习飞速发展，相关的成果日新月异.本书内容若有疏漏或错误之处，恳请各位读者不吝指出，一定及时更正，不胜感激.