推 荐 序 一
优化算法一直是推动近年来机器学习发展的引擎.机器学习的需求与使用优化工具箱的其他学科的需求不同,最显著的差别是,参数空间是高维的,需要优化的函数通常是数百万项之和.在这种情况下,基于梯度的方法比高阶优化方法更可取,并且考虑到计算完全的梯度有可能不可行,因此随机梯度法是机器学习领域优化算法的代名词.这些限制与解决非凸优化问题、控制随机采样引起的方差以及开发在分布式平台上运行的算法的需求结合在一起,对优化提出了一系列新的挑战.令人惊讶的是,过去十年中许多挑战已经被研究人员解决.
林宙辰、李欢和方聪所著的这本书是该新兴领域的第一本完整的专著.该书详细介绍了基于梯度的算法,重点关注加速的概念.加速是现代优化中的关键概念,它提供了新的算法和对可达到的收敛速度的深入探索.该书还介绍了随机方法(包括方差控制),并包括有关异步分布式实现的资料.
任何希望在机器学习领域工作的研究人员都应该对统计和优化领域有基本的了解,这本书正是了解基本的优化算法并开始机器学习研究的绝佳出发点.
Michael I. Jordan
于伯克利 .加州大学伯克利分校
2019 年 10 月
推 荐 序 二
优化是机器学习的核心主题之一.在得益于纯粹优化领域的进步的同时,机器学习中的优化也形成了自己的特点.一个显著的现象是,一阶算法或多或少地成了机器学习的主流优化方法.虽然有一些书籍或预印本介绍了机器学习中使用的部分或全部主要优化算法,但本书着眼于最近机器学习优化中的一个明显的潮流,即加速一阶算法.加速一阶算法起源于Polyak的重球法并被Nesterov的一系列工作所引发,目前已成为优化和机器学习领域的热门话题,并取得了丰硕的成果.这些成果已经大大超出了无约束(和确定性)凸优化的传统范围.新的成果包括约束凸优化和非凸优化的加速、随机算法以及通用加速框架,例如Katyusha算法和Catalyst加速框架,其中一些甚至具有接近最佳的收敛速度.不幸的是,现有文献散布在广泛的出版物中,因此掌握基本加速技巧并全面了解这个快速发展的领域变得非常困难.
幸运的是,这本由林宙辰、李欢和方聪合著的专著及时满足了对加速一阶算法进行快速学习的需求.该书首先概述了加速一阶算法的发展历程,尽管略显粗略,但提供的信息极为丰富.然后,介绍了针对不同类别问题的代表性工作,并提供了详细的证明,这些证明极大地方便了读者对基本思想的理解和对基本技术的掌握.毫无疑问,这本书对于那些想要学习最新的机器学习优化算法的人来说是至关重要的参考书.
我认识林宙辰博士已有很长时间了.他以扎实的工作、深刻的见解以及对来自不同研究领域的问题的细致分析给我留下了深刻的印象.鉴于我和他有很多共同的研究兴趣,其中之一是基于学习的优化,我很高兴看到这本书经过精心撰写后终于出版了.
徐宗本
于西安 .西安交通大学
2019 年 10 月
推 荐 序 三
一阶优化方法一直是求解面向大数据的机器学习、信号处理和人工智能问题的主要工具.一阶优化方法虽然概念上很简单,但需要仔细分析并充分了解才能有效地进行部署.加速、非光滑、非凸、并行和分布式实现等问题至关重要,因为它们会对算法的收敛行为和运行时间产生重大影响.
该研究专著对一阶优化方法的算法方面进行了出色的介绍,重点是算法设计和收敛性分析.它深入讨论了加速、非凸、约束和异步实现的问题.专著中涉及的主题和给出的结果非常及时,并且与机器学习、信号处理、人工智能领域的研究人员和从业人员都息息相关.专著有意识地避免了复杂性下限的理论问题,以让位于算法设计和收敛性分析.总体而言,作者对各方面材料的处理相当均衡,并且在整个专著中提供了许多有用的见解.
该专著的作者在机器学习和优化相结合方面具有丰富的研究经验.专著写得很好,读起来也很流畅.对于对机器学习的优化方面感兴趣的每个人来说,它都应该是一本重要的参考书.
罗智泉
于深圳 .香港中文大学(深圳)
2019 年 10 月