深度强化学习核心算法与应用 pdf下载

《深度强化学习核心算法与应用》由腾讯游戏的AI算法专家联合写作，作为深度强化学习落地的先行者，他们将自己丰富的实践经验融入了本书。

不同于其他算法书，本书摒弃“枝蔓”，直接切入算法主干，阐述具体场景中算法设计的思路、实现与流程，并侧重分析各类算法之间继承与发扬关系（脉络）。

这种写法让读者可以直接掌握深度强化学习算法的本质，举一反三，领悟各类相关算法的精髓，应用于自己的工作中。

强化学习是实现决策智能的主要途径之一。经历数十年的发展，强化学习领域已经枝繁叶茂，技术内容纷繁复杂，这也为初学者快速入门造成障碍。

本书是一本深度强化学习领域的入门读物，梳理了深度强化学习算法的发展脉络，阐述了各类算法之间的关联，它们之间既有继承也有更新和发展，这种写法可以帮助读者更好地掌握算法中不变的精髓，并理解在不同的场景下应如何根据情势作出调整。

全书分为四部分。第一部分主要阐述强化学习领域的基本理论知识；第二部分讲解深度强化学习常用算法的原理、各算法之间的继承与发展，以及各自的算法流程；第三部分总结深度强化学习算法在游戏、推荐系统等领域的应用；第四部分探讨了该领域存在的问题和发展前景。

本书适合想了解强化学习算法的小伙伴作为入门读物，也适合对强化学习感兴趣的读者阅读。

陈世勇

腾讯游戏AI研究中心高级算法研究员。毕业于南京大学机器学习与数据挖掘研究所，主要从事强化学习、分布式机器学习方面的研究工作，并在国际顶级会议和期刊上发表多篇论文。对于大规模强化学习在游戏AI和推荐系统领域的研究和落地有着丰富经验，负责了多款游戏的强化学习AI项目和“淘宝锦囊”强化学习推荐项目研发，参与了虚拟淘宝项目研发。

苏博览

新加坡国立大学博士，曾任职于腾讯游戏AI研究中心，参与了QQ飞车和斗地主游戏AI的研发，在国际顶级会议和期刊发表论文数十篇，在机器学习和强化学习上有丰富的科研和落地应用经验。

杨敬文

腾讯游戏AI研究中心高级算法研究员。毕业于南京大学机器学习与数据挖掘研究所，获南京大学“优秀毕业生”称号、南京大学计算机优秀硕士毕业论文奖。曾获全国大学生大数据竞赛第yi名，在国际顶会发表多篇论文和技术文章。长期从事强化学习在游戏领域的研究与应用，是竞速类、格斗类、射击类、多人在线战术竞技类等强化学习AI项目的主要负责人之一，具有丰厚的强化学习研究和落地的经验。

强化学习是实现决策智能的主要途径之一。经历数十年的发展，强化学习领域已经枝繁叶茂，技术内容纷繁复杂，这也为初学者快速入门造成障碍。作者是深度强化学习在游戏领域的早期探索实践者，在腾讯从事多年的游戏AI设计，对强化学习技术的优势与局限有深入理解。本书作为强化学习方向的入门读物，与其他强化学习书籍相比，在介绍强化学习基本概念以外，更加强调对当下流行的深度强化学习算法的介绍，以及对强化学习应用的介绍，这其中包含了作者亲身参与的项目。相信读者能从本书中获得对强化学习技术发展状况的了解，尤其有助于初学者掌握强化学习应用技术的主干。

——俞扬，南京大学人工智能学院教授

很高兴看到这样一本全面、深入、实用的强化学习书籍面世。强化学习是一个既古老又年轻，并不断散发出全新魅力的技术领域，我和我的团队也一直致力于强化学习技术的工业化落地。正如本书总结与展望篇所说，强化学习的研究和应用还面临诸多挑战，但审慎乐观，大有可为。期待在本书的帮助下，有更多有志之士投身到强化学习技术的学习和实践当中！

——何径舟，百度自然语言处理部总经理

本书的一大特色是重视强化学习算法在工业界的实际应用落地，作者在学术界和工业界都有多年的工作经验，兼具扎实的理论功底和工业界实践经验，尤其对深度强化学习算法应用在游戏领域有广博而深度的认识。 因此本书对于想在工作中尝试深度强化学习的互联网一线AI工程师有切实的指导意义。

——靳志辉（Rick Jin），日本东京大学人工智能博士，《神奇的伽马函数》作者

第I 部分基础理论篇 1
第1 章马尔可夫决策过程 3
1．1 马尔可夫性 3
1．2 一些基本定义 4
1．3 值函数 5
1．4 基于策略的值函数 5
1．5 贝尔曼方程 6
1．6 策略迭代与值迭代 7
第2 章无模型的强化学习 9
2．1 蒙特卡洛方法 10
2．1．1 蒙特卡洛方法预测状态V 值 10
2．1．2 蒙特卡洛方法预测Q 值 11
2．1．3 蒙特卡洛策略优化算法 11
2．1．4 探索和利用 12
2．1．5 异策略蒙特卡洛方法 13
2．2 时间差分方法 16
2．2．1 基本思想 16
2．2．2 Sarsa 算法 17
2．2．3 Q-Learning 算法 20
2．3 值函数估计和策略搜索 23
深度强化学习核心算法与应用
2．3．1 值函数估计 23
2．3．2 策略搜索 24
第3 章有模型的强化学习 27
3．1 什么是模型 27
3．2 基本思路 28
3．3 有模型方法和无模型方法的区别 29
3．4 典型算法 31
第II 部分常用算法篇 33
第4 章DQN 算法 35
4．1 算法介绍 35
4．1．1 背景 36
4．1．2 核心技术 37
4．1．3 算法流程 39
4．2 相关改进 40
4．2．1 Double Q-Learning 40
4．2．2 优先级回放 41
4．2．3 Dueling Networks 41
4．3 实验效果与小结 43
第5 章A3C 算法 45
5．1 Actor-Critic 方法 45
5．2 基线减法与优势函数 47
5．3 博采众长的A3C 算法 48
5．4 实验效果与小结 50
第6 章确定性策略梯度方法 53
6．1 随机性策略梯度与确定性策略梯度 53
iv
目录
6．2 异策略的确定性策略梯度 54
6．3 深度确定性策略梯度 56
6．4 D4PG 算法 57
6．4．1 分布式 57
6．4．2 值函数分布 58
6．4．3 N-step TD 误差和优先级的经验回放 59
6．5 实验效果与小结 59
第7 章PPO 算法 61
7．1 PPO 算法的核心 61
7．2 TRPO 算法 62
7．3 PPO 算法 65
7．4 实验效果与小结 67
7．4．1 替代函数的对比 67
7．4．2 在连续空间中与其他算法的对比 68
7．4．3 小结 69
第8 章IMPALA 算法 71
8．1 算法架构 71
8．2 V-trace 算法 73
8．3 V-trace Actor-Critic 算法 75
8．4 实验效果与小结 76
8．4．1 计算性能 76
8．4．2 单任务训练性能 76
8．4．3 多任务训练性能 78
8．4．4 小结 79
v
深度强化学习核心算法与应用
第III 部分应用实践篇 81
第9 章深度强化学习在棋牌游戏中的应用 83
9．1 棋盘类游戏 84
9．1．1 AlphaGo： 战胜人类围棋冠军 84
9．1．2 AlphaGo Zero： 不使用人类数据，从头学习 87
9．1．3 AlphaZero： 从围棋到更多 90
9．2 牌类游戏 93
9．2．1 Suphx 的五个模型 93
9．2．2 Suphx 的训练过程和算法优化 94
9．2．3 Suphx 的线上实战表现 94
第10 章深度强化学习在电子游戏中的应用 97
10．1 研发游戏中的机器人 97
10．1．1 单机游戏 97
10．1．2 对战游戏 99
10．1．3 小结 104
10．2 制作游戏动画 105
10．3 其他应用 106
第11 章深度强化学习在推荐系统中的应用 109
11．1 适用的场景 110
11．1．1 动态变化 110
11．1．2 考虑长期利益 110
11．2 淘宝锦囊推荐中的应用 111
11．2．1 淘宝锦囊推荐介绍 111
11．2．2 问题建模与推荐框架 112
11．2．3 算法设计与实验 114
vi
目录
第12 章深度强化学习在其他领域中的应用 119
12．1 在无人驾驶中的应用 119
12．2 在金融交易中的应用 121
12．3 在信息安全中的应用 122
12．4 在自动调参中的应用 123
12．5 在交通控制中的应用 124
第IV 部分总结与展望篇 127
第13 章问题与挑战 129
13．1 样本利用率低 129
13．2 奖励函数难以设计 131
13．3 实验效果难复现 132
13．4 行为不完全可控 134
第14 章深度强化学习往何处去 135
14．1 未来发展和研究方向 136
14．1．1 有模型的方法潜力巨大 136
14．1．2 模仿学习 137
14．1．3 迁移学习的引入 138
14．1．4 分层强化学习 140
14．2 审慎乐观，大有可为 141
参考资料 143

近几年来，深度学习无论是在学术界还是在工业界都掀起了一次又一次的热潮。深度学习凭借强大的建模能力和学习能力，不仅使机器学习技术有了长足的进步，而且在计算机视觉、自然语言处理、搜索推荐等诸多领域都展现了强大的应用实力。

即使深度学习技术能够把猫狗花草分得比人类精准得多，人们依然认为它距离真正的人工智能还有很大差距。这是为什么呢？原因在于深度学习技术仅仅解决了机器感知外界的问题，虽然它能够告诉我们一张图片是猫还是狗（这是一个分类模型），但是对于感知到这个外界的知识之后该怎么用这一问题，目前在绝大部分场景下，都还是由人类完成的。因此，与真正的人工智能相比，深度学习技术还欠缺决策能力，必须对感知的知识做出反应才能称得上是一个智能体。

众所周知，强化学习一直研究的就是多步决策的问题，它在机器学习领域是一个比较特殊的类别[68]。在监督学习中，我们通过建立数据与标签的关系来学习样本的数据分布；在无监督学习中，我们从数据的结构中发掘样本的分布规律。而强化学习与监督学习和无监督学习都不同，它既没有非常准确的监督信号，也不完全是无监督地在数据中发现结构。它通过不断与环境交互去学习一系列的决策，使得模型最终能够在环境中获得最大的收益。这是一种很接近人类智能的算法，但是由于学习效率低，强化学习一直都仅存在于学术研究领域，很难在真实的复杂场景中应用起来。

然而DeepMind 在2015 年于《自然》杂志上发表的Human-LevelControl Through Deep Reinforcement Learning 中，将强化学习与深度学习技术相结合，赋予了深度学习决策能力，两者结合训练出来的智能体在若干电子游戏上达到甚至超过了人类玩家的水平。这是一个里程碑式的研究工作，它利用深度学习极大地拓宽了强化学习的应用范围，打开了深度强化学习这个全新的研究方向。DeepMind 的技术负责人David Silver 提出：人工智能就等于强化学习加深度学习！随着越来越多的相关研究比如A3C、IMPALA、PPO、DDPG 等研究工作的涌现，深度强化学习展现出越来越强的生命力，在许多真实的应用领域比如围棋、非常复杂的即时战略游戏《星际争霸》、机器人、动画生成、智能对话、搜索与推荐等领域都开始发挥着重要的作用，

并且完成了很多之前根本无法完成的任务。

深度强化学习无疑正在掀起深度学习的又一波浪潮，它对机器学习技术乃至人工智能技术有着深远的影响，并且很可能把人工智能领域带向新的高度，这是令所有人工智能从业者和爱好者激动的技术革命。笔者认为，无论未来人工智能技术是否会强依赖于深度强化学习，它都很有借鉴价值，值得大家学习、了解。

本书系统地介绍了深度强化学习的基本概念和经典算法，并结合若干实际的应用场景对深度强化学习进行了深入的探讨。本书希望通过相对完整的知识体系和应用案例，帮助读者比较快地了解深度强化学习的内涵，掌握大概的脉络，从而能够顺利地进入该领域的研究和应用。