概率图模型原理与应用

《概率图模型原理与应用：第2版》分为4部分：第Ⅰ部分给出PGM的总体介绍和动机，并回顾概率论和图论的必要背景知识；第Ⅱ部分描述不考虑决策或效用的模型：贝叶斯分类器、隐马尔可夫模型、马尔可夫随机场、贝叶斯网络、动态和时态贝叶斯网络；第Ⅲ部分首先简要介绍决策理论，然后描述支持决策的模型，包括决策树、影响图、马尔可夫决策过程和部分可观察马尔可夫决策过程；第Ⅳ部分对标准PGM进行了扩展，包括关系概率图模型和因果图模型(因果推理和因果发现)，还对深度学习及其与PGM的关系进行介绍。

Luis Enrique Sucar博士是墨西哥普埃布拉国家天体物理、光学和电子学研究所(INAOE)的高级研究科学家。Luis于2016年荣获墨西哥国家科学奖。

前 言

第2版亮点

● 该版新增一章，对部分可观察马尔可夫决策过程进行讲解，其中包括对此类模型的详细介绍、近似求解技术和应用示例。

● 因果模型由原来的一章扩展为两章。一章提及因果图，包括因果推理；另一章则展开介绍几种因果发现技术，并列举了应用示例。

● 该版还新增一章，介绍了深度神经网络及其与概率图模型的关系，分析了深度神经网络和概率图模型的不同集成方案，并举例说明了这些混合模型在不同领域的应用。

● 介绍其他类型的分类器，包括高斯朴素贝叶斯、循环链分类器和贝叶斯网络层次分类器。

● 在隐马尔可夫模型的章节中添加了高斯隐马尔可夫模型。

● 介绍一种学习贝叶斯网络时的迁移学习方法。

● 增加了包括粒子滤波在内的动态贝叶斯网络的采样技术。

● 该版增加了一种基于决策树转换来处理影响图的方法。

● 新增若干应用示例。

● 每一章的习题数量增加了50%。

● 应用书中描述的几种算法，为概率图模型的推理和学习开发了一个Python库。

概述

概率图模型已发展为一套强大技术，并在诸多领域得到广泛应用。本书从工程角度对概率图模型(PGM)做了总体介绍。本书涵盖主流PGM的基本知识点：贝叶斯分类器、隐马尔可夫模型、贝叶斯网络、动态和时态贝叶斯网络、马尔可夫随机场、影响图、马尔可夫决策过程和部分可观察马尔可夫决策过程，以及每一项的表示、推理和学习原理。本书还介绍PGM的一些拓展内容：关系概率模型、因果模型和混合模型。每种模型的应用示例也包含在其中。

一些主要内容如下：

● PGM的主要类别在各个专题中以统一的框架呈现。

● 本书涵盖基本内容：所有相关技术的表示、推理和学习方法。

● 本书阐释不同技术在实际问题中的应用，这对学生和从业者来说是重点。

● 本书还囊括该领域的一些最新发展成果，如多维和层次贝叶斯分类器、关系概率图模型、因果图模型和因果发现，以及混合深度神经网络图模型。

● 除第1章之外，每章都附有配套练习，包括对研究和规划项目的相关建议。

本书的目标之一在于推动概率图模型在现实问题中的应用。这不仅需要了解不同的模型和技术，还需要掌握一些实践经验和领域相关知识。为了帮助不同领域的专业人士，使其深入了解使用PGM解决实际问题的方法，本书提供了多个不同类型模型在众多领域的应用示例。这些领域包括：

● 计算机视觉

● 生物医学应用

● 工业应用

● 信息检索

● 智能教学系统

● 生物信息学

● 环境应用

● 机器人学

● 人机交互

● 信息验证

● 护理

致读者

本书可作为计算机科学、工程、物理等专业的高年级本科生或研究生的概率图模型课程的教材，也可供旨在将概率图模型应用于不同领域的专业人士参考，还适合任何对该技术基础知识感兴趣的人进行阅读。

本书更适合有概率和统计方面背景知识的读者。读者若具备高中阶段的数学基础知识，以及一定的计算机和程序设计背景知识，阅读起来会更加轻松。编程练习需要一些编程语言(如C、C++、Java、Python、MATLAB等)知识和经验。

练习

每章(第1章除外)均附有配套练习，其中一些练习有助于加强读者对本章概念和技巧的理解。每章中也有一些关于研究或编程项目的建议，可作为课程的项目。

软件

一些用于学习和推理不同类别概率图模型的算法已在Python中执行，且对外公开。附录中给出了Python库的简介以及访问方式。

本书组织结构

本书分为4部分：第Ⅰ部分给出PGM的总体介绍和动机，并回顾概率论和图论的必要背景知识；第Ⅱ部分描述不考虑决策或效用的模型：贝叶斯分类器、隐马尔可夫模型、马尔可夫随机场、贝叶斯网络、动态和时态贝叶斯网络；第Ⅲ部分首先简要介绍决策理论，然后描述支持决策的模型，包括决策树、影响图、马尔可夫决策过程和部分可观察马尔可夫决策过程；第Ⅳ部分对标准PGM进行了扩展，包括关系概率图模型和因果图模型(因果推理和因果发现)，还对深度学习及其与PGM的关系进行介绍。

各章之间的关联如图0.1所示。从第X章到第Y章的“→”表示理解第Y章需要(或至少建议需要)首先学习第X章的内容。本书的图表示法提供了许多信息，与稍后将讨论的图模型相似。

从该图中，可了解阅读本书的不同方式。首先，建议你阅读导论和基本章节(第1～3章)。随后，你可以相对独立地研究第Ⅱ部分中的不同模型：贝叶斯分类器(第4章)、隐马尔可夫模型(第5章)、马尔可夫随机场(第6章)和贝叶斯网络(第7～9章)。在学习贝叶斯网络之前，有必要先阅读第7章；在研究动态和时态贝叶斯网络之前，第7章和第8章都需要提前学习。

学习第Ⅲ部分和第Ⅳ部分，需要事先阅读第Ⅱ部分的一些章节。对于包括决策树和影响图的第10章，读者至少应该阅读关于贝叶斯网络的前1章。对于第11章和第12章，其中包括惯序决策(MDP和POMDP)，建议你预先了解决策图(第10章)、隐马尔可夫模型以及动态和时态贝叶斯网络。关系概率图模型(第13章)是有关马尔可夫随机场和贝叶斯网络的章节，学习该章节之前需要对第6章和第8章进行提前阅读。第14章中的因果模型是基于贝叶斯网络构建起来的，包括学习技术和因果推理。第15章的学习需要之前的因果模型知识。最后，第16章将对比深度学习和PGM，需要先学习动态和时态贝叶斯网络以及马尔可夫随机场。

图0.1 各章之间的关联

如果没有足够的时间来学习整本书，你有以下几种选择：一是关注概率图模型，而不考虑决策或更高级的扩展，即只关注第Ⅰ部分和第Ⅱ部分；二是侧重于决策模型，包括第Ⅰ部分以及第Ⅱ部分和第Ⅲ部分的必要内容；三是按需求来设计课程，只考虑图中的关系。不过，如果你有足够的时间和强烈的求知欲，我建议你按顺序通读本书。祝你阅读愉快！

参考文献

读者在阅读本书正文时，会不时看到放在方括号中的编号。例如，第1章正文中有[16]，这表示可参考第1章的第16条文献。可扫描封底二维码，下载全书参考文献。

其他资源

读者可扫描封底二维码，下载词汇表、缩略语和符号。另外，读者可阅读附赠的书籍学习PGM_PyLib的相关内容。