图神经网络导论

1.清华大学刘知远力作；
2.图神经网络入门导引；
3.邱锡鹏等多位AI先锋学者推荐；
4.全彩印刷。

“图神经网络技术发展迅速，想快速学习、掌握这些技术有很多困难。这本书的特点是简明扼要、系统完整，是学习图神经网络的一本好教材。”
——张长水
清华大学自动化系教授、IEEE Fellow

“图神经网络是近年机器学习的研究热点，也在很多领域取得应用。这本书内容详尽，既包含对图神经网络基础的介绍，也有新的一些研究，同时还覆盖了部分应用，非常系统化，是一本非常值得推荐的书。”
——唐杰
清华大学教授、AMiner创始人

“图神经网络是目前学术界和工业界的研究热点之一。这本书全面、系统地介绍了图神经网络的基本概念、主要模型以及应用场景，内容清晰易懂，非常适合对图神经网络感兴趣的读者阅读。强烈推荐！”
——邱锡鹏
复旦大学计算机学院教授

图神经网络（GNN）是基于深度学习的图数据处理方法，因其卓越的性能而受到广泛关注。本书全面介绍了GNN的基本概念、具体模型和实际应用。书中首先概述数学基础和神经网络以及图神经网络的基本概念，接着介绍不同种类的GNN，包括卷积图神经网络、循环图神经网络、图注意力网络、图残差网络，以及几个通用框架。此外，本书还介绍了GNN在结构化场景、非结构化场景和其他场景中的应用。读完本书，你将对GNN的最新成果和发展方向有较为透彻的认识。

【作者简介】

刘知远

清华大学计算机科学与技术系副教授、博士生导师、智源人工智能研究院研究员，在自然语言处理、表示学习、知识图谱等人工智能研究领域享有盛誉，所开发的自然语言处理算法已成为该领域的代表方法。2018年入选《麻省理工科技评论》“35岁以下科技创新35人”。

周界

清华大学计算机科学与技术系硕士，曾在ACL、KDD等国际会议上发表论文，研究兴趣包括图神经网络和自然语言处理。

【译者简介】

李泺秋

浙江大学计算机科学硕士，研究兴趣主要为自然语言处理。

第 1章　引论 1
1．1　设计动机　1
1．1．1　卷积神经网络　1
1．1．2　图嵌入　3
1．2　相关工作　3
第　2章 数学和图论基础　7
2．1　线性代数　7
2．1．1　基本概念　7
2．1．2　特征分解　10
2．1．3　奇异值分解　11
2．2　概率论　12
2．2．1　基本概念和公式　12
2．2．2　概率分布　14
2．3　图论　15
2．3．1　基本概念　16
2．3．2　图的代数表示　16
第3章　神经网络基础　19
3．1　神经元　19
3．2　后向传播　22
3．3　神经网络　24
第4章　基础图神经网络　27
4．1　概述　27
4．2　模型介绍　28
4．3　局限性　30
第5章　卷积图神经网络　33
5．1　基于谱分解的方法　33
5．1．1　Spectral Network　33
5．1．2　ChebNet　34
5．1．3　GCN　35
5．1．4　AGCN　36
5．2　基于空间结构的方法　37
5．2．1　Neural FP　37
5．2．2　PATCHY-SAN　38
5．2．3　DCNN　40
5．2．4　DGCN　40
5．2．5　LGCN　42
5．2．6　MoNet　44
5．2．7　GraphSAGE　45
第6章　循环图神经网络　47
6．1　GGNN　47
6．2　Tree-LSTM　49
6．3　Graph-LSTM　50
6．4　S-LSTM　51
第7章　图注意力网络　55
7．1　GAT　55
7．2　GaAN　57
第8章　图残差网络　59
8．1　Highway GCN　59
8．2　Jump Knowledge Network　60
8．3　DeepGCN　62
第9章　不同图类型的模型变体　65
9．1　有向图　65
9．2　异构图　66
9．3　带有边信息的图　68
9．4　动态图　70
9．5　多维图　72
第　10章 高级训练方法　75
10．1　采样　75
10．2　层级池化　78
10．3　数据增广　80
10．4　无监督训练　80
第　11章 通用框架　83
11．1　MPNN　83
11．2　NLNN　85
11．3　GN　87
第　12章 结构化场景应用　93
12．1　物理学　93
12．2　化学和生物学　95
12．2．1　分子指纹　95
12．2．2　化学反应预测　97
12．2．3　药物推荐　97
12．2．4　蛋白质和分子交互预测　98
12．3　知识图谱　99
12．3．1　知识图谱补全　99
12．3．2　归纳式知识图谱嵌入　100
12．3．3　知识图谱对齐　101
12．4　推荐系统　102
12．4．1　矩阵补全　103
12．4．2　社交推荐　104
第　13章 非结构化场景应用　105
13．1　图像领域　105
13．1．1　图像分类　105
13．1．2　视觉推理　108
13．1．3　语义分割　109
13．2　文本领域　110
13．2．1　文本分类　110
13．2．2　序列标注　111
13．2．3　神经机器翻译　112
13．2．4　信息抽取　113
13．2．5　事实验证　114
13．2．6　其他应用　116
第　14章 其他场景应用　117
14．1　生成模型　117
14．2　组合优化　119
第　15章 开放资源　121
15．1　数据集　121
15．2　代码实现　123
第　16章 总结　125
16．1　浅层结构　125
16．2　动态图　126
16．3　非结构化场景　126
16．4　可扩展性　126
参考文献　129
作者简介　148