《深度强化学习实践（原书第2版）》包括新的强化学习工具和技术，介绍了强化学习的基础知识，以及如何动手编写智能体以执行一系列实际任务。
　　《深度强化学习实践（原书第2版）》较上一版新增6章，专门介绍了强化学习的新发展，包括离散优化（解决魔方问题）、多智能体方法、Microsoft的TextWorld环境、高级探索技术等。
　　学完《深度强化学习实践（原书第2版）》，你将对这个新兴领域的前沿技术有深刻的理解。
　　此外，你将获得对深度Q-network、策略梯度方法、连续控制问题以及高度可扩展的非梯度方法等领域的可行洞见，还将学会如何构建经过强化学习训练、价格低廉的真实硬件机器人，并通过逐步代码优化在短短30分钟的训练后解决Pong环境问题。
　　简而言之，《深度强化学习实践（原书第2版）》将帮助你探索强化学习中令人兴奋的复杂主题，让你通过实例获得经验和知识。
　　通过阅读《深度强化学习实践（原书第2版）》，你将：
　　了解强化学习的深度学习上下文并实现复杂的深度学习模型。
　　学会评估强化学习的方法，包括交叉熵、DQN、actor-critic、TRPO、PPO、DDPG、D4PG等。
　　学会构建经过强化学习方法训练的、价格低廉的硬件机器人。
　　研究Microsoft的TextWorld环境，这是一个文字冒险游戏平台。
　　学会在强化学习中使用离散优化来解决魔方问题。
　　学会教你的智能体使用AlphaGo Zero玩四子连横棋。
　　探索有关AI聊天机器人等主题的较新深度强化学习技术。
　　研究先进的探索技术，包括噪声网络和网络蒸馏技术。

　　马克西姆·拉潘（Maxim Lapan），一位深度学习爱好者和独立研究者。他拥有15年软件开发和系统架构经验，涵盖从低级Linux内核驱动程序开发到性能优化以及在数千台服务器上工作的分布式应用程序设计的方方面面。他在大数据、机器学习以及大型并行分布式HPC和非HPC系统方面拥有丰富的工作经验，他能够使用简单的词汇和生动的示例来解释复杂的事物。他当前感兴趣的领域包括深度学习的实际应用，例如，深度自然语言处理和深度强化学习。
　　
　　林然，在2016年加入Thoughtworks之后，主要担任全栈软件开发工程师、TechLead、算法工程师等。在技术领域，他特别擅长全栈软件开发、端到端交付、面向对象设计、测试驱动开发、持续交付、领域驱动设计（DDD），熟悉整洁架构、微服务、DevOps、Scrum、Kanban、深度强化学习、Hadoop生态等技术和方法论。当前他在精进以重构、测试驱动开发和持续交付为核心的软件工程能力的基础上，正深耕于以领域驱动设计为代表的数字化架构能力、数据中台的架构能力以及以深度强化学习为代表的机器学习解决方案。同时，他曾参与翻译《Python机器学习手册》。
　　
　　王薇，北京邮电大学硕士，现任Thoughtworks数据分析师。有金融、通信、医疗、娱乐等不同行业的数据类项目经验，精通多种数据挖掘算法，擅长将算法与业务相结合进行数据挖掘和分析。

　　★强化学习是一个令人兴奋的领域，它为新的可能性开辟了道路。Maxim Lapan写了一本关于强化学习的优秀指南，它不仅解释了这些概念，而且向我们展示了如何使用RL来开发我们自己的程序。
　　——Marco Wiering博士，Groningen大学人工智能助理教授
　　
　　★我刚刚读完Maxim Lapan写的《深度强化学习实践》第2版。这本书写得非常好，内容丰富，发人深省，见解深刻。
　　——Tristan Behrens博士，AI公会创始成员和独立深度学习实践顾问

译者序
前言
作者简介
审校者简介

第1章 什么是强化学习
1．1 机器学习分类
1．1．1 监督学习
1．1．2 非监督学习
1．1．3 强化学习
1．2 强化学习的复杂性
1．3 强化学习的形式
1．3．1 奖励
1．3．2 智能体
1．3．3 环境
1．3．4 动作
1．3．5 观察
1．4 强化学习的理论基础
1．4．1 马尔可夫决策过程
1．4．2 策略
1．5 总结

第2章 OpenAIGym
2．1 剖析智能体
2．2 硬件和软件要求
2．3 0penAIGymAPI
2．3．1 动作空间
2．3．2 观察空间
2．3．3 环境
2．3．4 创建环境
2．3．5 车摆系统
2．4 随机CartPole智能体
2．5 Gym的额外功能：包装器和监控器
2．5．1 包装器
2．5．2 监控器
2．6 总结

第3章 使用PyTorch进行深度学习
3．1 张量
3．1．1 创建张量
3．1．2 零维张量
3．1．3 张量操作
3．1．4 GPU张量
3．2 梯度
3．3 NN构建块
3．4 自定义层
3．5 最终黏合剂：损失函数和优化器
3．5．1 损失函数
3．5．2 优化器
3．6 使用TensorBoard进行监控
3．6．1 TensorBOard101
3．6．2 绘图
3．7 示例：将GAN应用于Atari图像
3．8 PyTorchlgnite
3．9 总结

第4章 交叉熵方法
4．1 RL方法的分类
4．2 交叉熵方法的实践
4．3 交叉熵方法在CartPole中的应用
4．4 交叉熵方法在FrozenLake中的应用
4．5 交叉熵方法的理论背景
4．6 总结

第5章 表格学习和Bellman方程
5．1 价值、状态和最优性
5．2 最佳Bellman方程
5．3 动作的价值
5．4 价值迭代法
5．5 价值迭代实践
5．6 Q-Iearning在FrozenLake中的应用
5．7 总结

第6章 深度Q．network
6．1 现实的价值迭代
6．2 表格Q-Iearning
6．3 深度Q-learning
6．3．1 与环境交互
6．3．2 SGD优化
6．3．3 步骤之间的相关性
6．3．4 马尔可夫性质
6．3．5 DQN训练的最终形式
6．4 DQN应用于Pong游戏
6．4．1 包装器
6．4．2 DQN模型
6．4．3 训练
6．4．4 运行和性能
6．4．5 模型实战
6．5 可以尝试的事情
6．6 总结

第7章 高级强化学习库
7．1 为什么使用强化学习库
7．2 PTAN库
7．2．1 动作选择器
7．2．2 智能体
7．2．3 经验源
7．2．4 经验回放缓冲区
7．2．5 TargetNet类
7．2．6 Ignite帮助类
7．3 PTAN版本的CartPole解决方案
7．4 其他强化学习库
7．5 总结

第8章 DQN扩展
8．1 基础DQN
8．1．1 通用库
8．1．2 实现
8．1．3 结果
8．2 N步DQN
……

第9章 加速强化学习训练的方法
第10章 使用强化学习进行股票交易
第11章 策略梯度：一种替代方法
第12章 actor-critic方法
第13章 A3C
第14章 使用强化学习训练聊天机器人
第15章 TextWorld环境
第16章 Web导航
第17章 连续动作空间
第18章 机器人技术中的强化学习
第19章 置信域：PPO、TRPO、ACKTR及SAC
第20章 强化学习中的黑盒优化

　　我最早于2018年接触强化学习这一令人兴奋的技术，在深入了解后，感觉打开了一扇新世界的大门。使用强化学习，我不仅可以享受编程的乐趣，也可以享受玩游戏的乐趣。同时，强化学习也在一定程度上给了我一些生活上的启示，从前的我是容易陷入“局部最优性”的人：我之前只要在食堂遇到一种喜欢吃的食物，就会天天吃，直到吃腻为止；回家的路，只会走那条最熟悉的（即使可能有近路，但是害怕走错还是不会选择那条可能的近路）。强化学习对于探索的需求是很强烈的，对于未见过的观察，智能体必须要有强烈的探索欲望，经历过各种场景，最终得到的策略才会更优。在探索强化学习的同时，我自身也更接纳“探索”了：多尝试以前没有吃过的菜，多探索几条新的回家的路。这种不需要后续步骤、可以立即得到确定性状态价值的探索非常高效，必须要好好利用。
　　在接触本书后，我发现，如果在啃Sutton的《强化学习（第2版）》前，能先好好学习一下本书，那该多么幸福！本书从理论和实践两个角度对强化学习进行了解释和演示，如果想快速上手强化学习并开始实践，那么本书就是目前的不二之选了。
　　由于译者水平有限，书中出现错误与不妥之处在所难免，恳请读者批评指正。如果有强化学习相关的问题想和译者进行探讨，可发邮件。
　　最后，感谢本书的策划编辑王春华的耐心和悉心指导。当然，还要感谢我的女朋友王薇，在她的支持和协助下，这本书才得以翻译完成，并呈现在大家面前。感谢每一位读者，你的潜心研习与融会贯通将会令本书更有价值。