深度学习入门

深度学习是机器学习研究中的一个活跃领域，《深度学习入门》的宗旨在于为深度 机器学习的初学者提供一本通俗易懂、内容全面、理论深入的学习教材。 本书的内容大体可以分为机器学习基础、顺序传播神经网络的深度学 习、玻尔兹曼机和深度强化学习四个部分，既考虑了通俗性和完整性，又 介绍了深度学习的各个方面。其中机器学习基础部分介绍了神经网络、机 器学习与深度学习的数学基础、典型任务、数据集等;顺序传播神经网络 的深度学习部分介绍了梯度下降法的机器学习、深度学习的正则化、误差 反向传播法、自编码器、卷积神经网络以及循环神经网络等;玻尔兹曼机 部分对图模型神经网络的机器学习进行了深入的介绍;深度强化学习部分 则重点介绍了强化学习中的深度神经网络学习的理论和方法。 通过本书的学习，读者可以快速了解机器学习的全貌，同时在理论上 对其模型和方法进行深入分析和理解，从而为实际的开发打下深厚的理论 基础，为技术创新提供具有启发性的方向和路径。

目 录

译者序

原书序

原书前言

第1章 绪论 1

第2章 机器学习与深度学习 3

2.1 为什么要进行深度学习 3

2.2 什么是机器学习 4

2.2.1 典型任务 4

2.2.2 形式各异的数据集 5

2.3 统计学基础 6

2.3.1 样本和估计 7

2.3.2 点估计 8

2.3.3 极大似然估计 11

2.4 机器学习基础 12

2.5 特征学习与深度学习的进展 23

2.5.1 特征学习 23

2.5.2 深度学习的出现 24

第3章 神经网络 26

3.1 神经细胞网络 26

3.2 形式神经元 27

3.3 感知器 29

3.3.1 由形式神经元到感知器 29

3.3.2 感知器与马文·明斯基 （Marvin Lee Minsky） 30

3.4 顺序传播神经网络的组成 31

3.5 神经网络的机器学习 35

3.5.1 回归 35

3.5.2 二元分类 36

3.5.3 多元分类 37

3.6 激活函数 37

3.6.1 sigmoid函数及其变体 38

3.6.2 正则化线性函数 38

3.6.3 maxout 39

3.7 为什么深度学习是重要的 40

第4章 基于梯度下降法的机器学习

41 4.1 梯度下降法 41

4.2 改进的梯度下降法 46

4.2.1 梯度下降法的问题 46

4.3 权重参数初始值的选取方法 53

4.4 训练预处理 55

4.4.1 数据的规格化 55

4.4.2 数据的白化 55

4.4.3 图像数据的局部对比度

第5章 深度学习的正则化 59

5.1 泛化性能与正则化 59

5.1.1 泛化误差与过度学习 59

5.1.2 正则化 61

5.2 权重衰减 62

5.3 早期终止 63

5.4 权重共享 65

5.5 数据扩增与噪声注入 65

5.6 bagging算法 66

5.7 dropout 67

5.8 深度表示的稀疏化 72

5.9 批量规格化 72

5.9.1 内部协变量移位 72

5.9.2 批量规格化 73

第6章 误差反向传播法 74

6.1 Perceptron（感知器）和delta 学习规则 74

6.2 误差反向传播法 76

6.3 误差反向传播法的梯度快速 计算 82

6.4 梯度消失与参数爆炸及其 对策 84

6.4.1 预学习 85

6.4.2 ReLU函数 85

第7章 自编码器 87

7.1 数据压缩与主成分分析 87

7.2 自编码器基础及应用 90

7.3 稀疏自编码器 93

7.4 堆栈式自编码器及预学习 97

7.5 降噪自编码器 98

7.6 压缩式自编码器 99

7.6.1 压缩式自编码器流形学习 99

7.6.2 与其他自编码器的关系 100

第8章 卷积神经网络 101

8.1 一次视觉功能和卷积 101

8.1.1 黑贝尔和威杰尔的层假说 101

8.1.2 神经网络与卷积

8.2 卷积神经网络 104

8.3 CNN的误差反向传播法 112

8.4 完成学习的模型和迁移学习 114

8.5 CNN会捕捉到哪些模式 114

8.6 反卷积网络 * 115

8.7 Inception组件 * 116

第9章 循环神经网络 117

9.1 时间序列数据 117

9.2 循环神经网络 118

9.3 机器翻译的应用 123

9.4 RNN的问题 123

9.5 长短时记忆 124

9.6 循环神经网络与自然语言的 处理 * 130

第10章 玻尔兹曼机 133

10.1 图模型与概率推论 133

10.1.1 有向图模型 * 133

10.1.2 无向图模型 * 136

10.2 有/无隐性变量的玻尔 兹曼机 139

10.3 玻尔兹曼机的学习及计算量的 爆发 142

10.4 吉布斯采样和玻尔兹曼机 150

10.5 平均场近似 159

10.6 受限玻尔兹曼机 162

10.7 对比散度法及其理论 167

10.8 深度信念网络 175

10.9 深度玻尔兹曼机 181

第11章 深度强化学习 188

11.1 强化学习 188

11.2 近似函数与深度Q网络 197

11.2.1 Q学习与近似函数 197

11.2.2 深度Q学习 199

11.3 雅达利游戏和DQN 201

11.4 策略学习 203

11.4.1 基于梯度上升法的策略学习

11.4.2 策略梯度定理的证明

11.5 AlphaGo 205

附录 210 附录A 概率基础 210

A.1 随机变量和概率分布 210

A.2 连续随机变量和概率密度函数 212

A.3 期望值与方差 214

A.4 信息量与散度 215

附录B 变分法 217

B.1 泛函数 217

B.2 欧拉·拉格朗日方程式

217 参考文献 219

原书前言

真正的深度学习是发生于21世纪的一项科学技术革新，若干年以后这一评价也不会改变。能够遇上科学技术飞速发展的时代，的确是非常幸运的。即使仅此一个理由，对深度学习进行研究也是非常有意义的事情。

关于深度学习，人们常常错误地认为即使理论上不够清楚，只要进行方法的积累，也是行得通的。这一认识从某一侧面反映了深度学习的一些实际情况，但并没有真正地把握研究开发的实际现状。深度学习的研究与开发并不是歪打正着的事情，而是要经过缜密的数理分析进行设计的，也就是说需要有相应的理论依据。想要高水平地进行深度学习的设计，就必须具备这方面的理论背景，因此本书对以往理论研究的方方面面进行了尽可能的介绍。然而，深度学习为什么能够达到如此高的性能，至今还不得而知，特别是还存在训练可能性、表现能力、泛化可能性这三大理论之谜。作为一本入门书籍，本书很难涉及目前世界上正在进行的理论研究，仅就几个重要的问题反复进行介绍，可将其作为加深理解的开端。

在深度学习和机器学习领域，有许多无偿提供的出色框架和教程，并公开了许多这方面的说明与实际运行的结果。本书省略了所有与实际运行有关的内容，但是要想掌握理论知识还需通过TensorFlow和Chainer等进行细致的实际操作和实验。读者可以通过框架边实验边学习。

我本人的专业是粒子和超弦理论，但是通过所属的理论科学联合研究推进小组（iTHES）举办的演讲会触发了本人对深度学习的兴趣。之后，经过不断学习，积累了一些学习笔记，被周围的人知道后，建议并支持我将其编辑成书，并向我推荐了讲谈社。这样，本书基于本人之前的学习笔记，并特别选取了一些基础的重要话题编写而成，书中也借鉴了许多学者的论文和著名的教科书的内容。之所以最终要出版本书，也是源于自己在学习之初的“如果有这么一本教科书该有多好啊!”这样一个想法，以便将这些内容汇集成书，我想也是非常有价值的。本书的目的就是将读者从没有任何机器学习知识储备的阶段提升到可以窥见最前沿研究的高度，这一尝试是否成功，真诚地希望各位读者给予判定。

神经网络研究的核心人物甘利俊一先生通读了本书原稿，并为本书做了详细的点评，还题写了诚挚的序言，本人不胜感激。同事小川轨明博士、田中章词博士、日高义将博士以及本乡优博士等对本书原稿提出了许多有益的建议，日常激烈、深入的讨论也进一步加深了作者对此的理解。若本书有优于其他书籍之处，也是仰仗各位先生的帮助，当然，本书的不当之处完全由我本人负责。另外，讲谈社的科学专员横山真吾先生对不善著书的我给予了耐心的鼓励;日本理化科学研究所的理论科学联合研究推进小组（iTHES）和数理创作计划提供了“科学家自由乐园”这一理想的研究环境。在此，对大家所给予的持续帮助，再一次表示感谢!

最后，如果受本书影响，能够涌现一批年轻的深度学习研究开发者的话，作者将不胜荣幸。

原 书 序

人工智能已经成为了一个热门的话题，并将会掀起第四次工业革命，给社会和文明带来巨大的变革。因此，我们必须做好充分的思想准备，全面地了解人工智能。

人工智能与计算机一样经历了60年的发展历程，但其性能的提高对社会的广泛影响还仅仅是最近十年的事情。人工智能的核心技术是深度学习，这也是受到了人脑神经回路的启发。通过提供大量的实践数据，人工智能系统可以自动地学习数据背后隐藏的机理和分布，进而实现只有相关专家才能达到的技能。

尽管如此，人工智能的应用还是仅限于有限的范围内，不能像人类那样运用自如。但是，如果能够从人类无法处理的大量数据当中提取规则的话，人工智能一定是一项不可轻视的新技术。它的实现得益于计算机和互联网等信息技术的惊人进步。

人工智能已经进入了人类的智能领域，并且正在走向人类的内心世界。人类是漫长岁月进化的结果，其思想和智能也随之产生，因而造就了今天的文明与社会，构成了我们生活的基础。甚至有人担心，人工智能能否会改变我们现有的社会与文明呢?到2045年，随着技术奇点的到来，人工智能可能会完全超越人类的智能。在这种惊人的情况下，人类的生存可能会需要机器智能的保护。

虽然这不是我们讨论的主题，但是人工智能会极大地影响社会与文明，这一点是无疑的。我想在论述这一事态的时候，有必要对人工智能技术，特别是作为其核心技术的深度学习要有一个充分的认识。

人工智能是人类创造的，因此我们理应了解它的方方面面。但是，实际上对于为什么人工智能能够产生如此神奇的效果，我们目前还没有根本的了解。就像我们所看到的经过良好学习的围棋模型，已经具有超越人类的本领，让即使是著名专业棋手也感到难以应对。但究其原因，我们仍然知之甚少。这种情况也发生在我们对人脑的认识过程中。人脑是长期进化的结果，从而使得人脑如此完美，但是目前我们对其出色工作的运行机理还是了解得不多。之所以如此，或许是人脑与人工智能在信息的利用上具有共通的运作机理，只是实现的方法不同而已。

人工智能具有突出的优势，能够以大量的软件和程序库作为工具，如果有效利用的话，会发挥很好的作用。但这并不代表我们已经了解了人工智能，我们还需要进一步掌握它的本质。虽然市面上有很多关于人工智能方面的书籍，但是本书首先从基础开始，通过理论简单明了地阐述了人工智能的基本原理。

深度学习也拥有悠久的历史。为了使初学者能够清楚掌握基本原理，本书从数理角度进行了明确阐释，并对编入的最新复杂内容做了详尽的说明。另外，在书中还欣喜地看到关于Alpha Go等的详尽介绍，并且还穿插了很多有趣的逸事。

对于想要通过学习加深对深度学习理解的学生、致力于进一步推进深度学习的研究人员以及利用人工智能进行技术创新的技术人员来说，本书可以说是一本必读的文献。通过本书所形成的对基础的扎实掌握和理解，对今后的发展将是十分有益的。

最后，对本书的正式出版表示祝贺!

日本理化学研究所脑科学综合研究中心特别顾问

甘利俊一

译 者 序

正如原书序所介绍的那样，人工智能技术的发展将会掀起第四次工业革命，给社会进步和人类文明发展带来巨大的变革，因此我们有必要全面学习和了解人工智能技术，从而为这种变革的到来做好充分的准备。

深度学习是机器学习研究中的一个活跃领域，其动机在于建立模拟人脑进行分析学习的神经网络，模仿人脑的机制来实现诸如图像、声音和文本之类数据的解释。深度学习的概念源于人工神经网络的研究，深度学习结构含有多隐层的多层感知器，通过低层特征的组合形成更加抽象的高层表示属性类别或特征，以发现数据的分布特征表示。由于其强大的功能、良好的适应性，以及其结构的相对规整和易构性，目前在数据分析、图像及语音识别、趋势预测、机器翻译、机器博弈等众多领域均得到了广泛应用。

真正的深度学习是发生于21世纪的一项科学技术革新。关于深度学习，人们常常错误地认为其模型架构已经成熟，因此不再需要更多的理论研究，只需要足够的训练即能实现想要达到的目标。然而实际情况正如本书作者所说的那样，深度学习的研究与开发并不是歪打正着的事情，其模型的设计需要缜密的数理分析，其训练实践需要相应的理论指导。要想进行高水平深度学习模型的设计和实践，就必须具备深厚的理论背景。因此，作为一本入门书籍，本书力图对以往深度学习理论研究的方方面面进行尽可能详细的介绍，同时将当今最新的相关研究成果也纳入到了本书的内容之中，在强调系统性、通俗性的同时，又具有较强的前瞻性，并且对所介绍的问题都给出了详尽的分析和数学推导，因此也具有较强的学术性。其宗旨是为深度机器学习的学习人员提供一本入门的综合学习教材，即使没有任何机器学习知识储备的读者，通过本书的学习也能提升到可以窥见最前沿研究的高度。

本书的内容大体可以分为机器学习基础、顺序传播神经网络的深度学习、玻尔兹曼机和深度强化学习四个部分，既考虑了通俗性和完整性，又介绍了深度学习的各个方面。其中机器学习基础部分介绍了神经网络、机器学习与深度学习的数学基础、典型任务、数据集等;顺序传播神经网络的深度学习部分介绍了梯度下降法的机器学习、深度学习的正则化、误差反向传播法、自编码器、卷积神经网络以及循环神经网络等;玻尔兹曼机部分对图模型神经网络的机器学习进行了深入的介绍;深度强化学习部分则重点介绍了强化学习中的深度神经网络学习的理论和方法。

总之，本书为深度学习的初学者提供了一本通俗易懂、内容全面、理论深入的学习解决方案。通过本书的学习，读者可以快速了解机器学习的全貌，同时在理论上对其模型和方法进行深入分析和理解，从而为实际开发打下深厚的理论基础，为技术创新提供具有启发性的方向和路径。

本书由杨秋香、王卫兵等翻译。其中，王卫兵翻译了第1～7章，杨秋香翻译了第8～11章，徐倩翻译了原书序、原书前言、附录，并撰写了译者序。全书由王卫兵统稿，并最终定稿。刘泊、吕洁华、房国志、赵海霞、徐速、田皓元、徐松源、张宏、张维波、代德伟也参与了本书的翻译工作。在本书的翻译过程中，全体翻译人员为了尽可能准确地翻译原书的内容，对书中的相关内容进行了大量的查证和佐证分析，以求做到准确无误。为方便读者对相关文献的查找和引用，在本书的翻译过程中，本书保留了所有参考文献的原文信息;对书中所应用的专业术语采用了中英文对照的形式。但是鉴于本书较强的专业性，并且具有一定的深度和难度，因此，翻译中的不妥和失误之处也在所难免，望广大读者予以批评指正。

译者

2020年2月于哈尔滨