异质图表示学习与应用

异质图中的表示学习旨在为每个节点提供有意义的向量表示，以便于下游应用，例如链路预测、个性化推荐和节点分类等。然而，这些任务是具有挑战性的，因为这不仅需要纳入由多种类型的节点和边组成的异质结构（图）信息，还需要考虑与每个节点相关的异质属性或内容类型（例如，文本或图像）。尽管同质（和异质）图嵌入、属性图嵌入和图神经网络方面已经取得了相当大的进展，但这些成果还是很少能够同时有效地考虑每个节点的异质结构（图）信息以及异质内容信息。

作为第一本总结异质图表示学习相关知识的图书，本书对异质图表示学习的当前发展和前沿研究进行了全面的总结。更重要的是，本书介绍了这一领域时下的新进展，包括已在顶级学术会议（如TKDE、KDD、WWW、IJCAI和AAAI等）和期刊上发表的理论模型与实际应用。要想更好地学习本书中的知识，读者需要对计算机科学、数据挖掘和机器学习相关知识有基本的了解。

本书目标如下：

帮助研究人员理解基本问题，并为他们在这一迅速发展的领域开展工作提供良好的起点。

介绍将异质图应用于真实系统建模和学习交互系统结构特征的新研究。

本书旨在全面回顾异质图表示学习的发展，并介绍其新研究进展。书中首先从方法和技术两个角度总结了现有的工作，并介绍了该领域的一些公开资源。然后分类详细介绍了新模型与应用。最后讨论了异质图表示学习未来的研究方向，并总结了本书的内容。全书分为四个部分，第一部分快速介绍整个领域，第二、三部分深入研究相关技术和应用，第四部分介绍异质图神经网络算法平台，并讨论未来研究方向。

本书不仅可以作为异质图表示学习领域学术界和工业界的研究指南，还可以作为相关领域学生的参考资料。

石川　

北京邮电大学计算机学院教授、博士研究生导师、智能通信软件与多媒体北京市重点实验室副主任。主要研究方向: 数据挖掘、机器学习、人工智能和大数据分析。近5年来以第一作者或通讯作者身份在CCF A类期刊和会议发表论文50余篇，出版中英文专著5部，授权发明专利20余项，相关研究成果应用于阿里巴巴、腾讯、华为、美团等公司。他曾获得ADMA 2011/ ADMA 2018最佳论文奖和WWW 2019最佳论文候选。其研究成果获得省部级奖励5项，包括CCF科学技术奖自然科学二等奖（第一）和吴文俊人工智能科技进步一等奖（第三）。他入选了爱思唯尔高被引学者，并获得了北京市高等学校“师德先锋”和“青年英才”等称号。

王啸

北京邮电大学计算机学院副教授，清华大学计算机科学与技术系博士后。在天津大学计算机科学与技术学院获得博士学位，是圣路易斯华盛顿大学的联合培养博士。主要研究领域包括数据挖掘、机器学习、人工智能和大数据分析。曾获ACM中国新星提名奖，在数据挖掘领域的顶级期刊和会议（包括IEEE TKDE、KDD、NeurIPS、AAAI、IJCAI、WWW）发表论文 80 余篇，并多次获得（或提名）相关会议最佳论文。担任WWW、AAAI、KDD等会议 SPC/PC 成员，以及IEEE TKDE等期刊的评审员。

俞士纶（Philip S. Yu）

美国伊利诺伊大学芝加哥分校（UIC）计算机科学系杰出教授，也是信息与技术领域的讲席教授（Wexler Chair），美国计算机学会（ACM）及美国电气电子工程师学会（IEEE）会士，清华大学数据科学研究院院长、清华大学特聘教授。主要研究领域包括大数据、数据挖掘（尤其是图或网络挖掘）、社交网络、隐私保护数据发布、数据流、数据库系统以及互联网应用和技术。发表论文1300余篇，被引超过14.9万次，H因子高达176。他曾于美国IBM Watson研究中心工作多年，创建了世界知名的数据挖掘及数据管理部，拥有300多项专利。作为国际数据库和数据挖掘等领域的先驱之一，以及国际数据挖掘和数据管理领域的顶级学者，他在专业领域做出了诸多奠基性工作。

“本书清晰易懂地介绍了异质图表示学习的基本问题、新模型以及不同应用。作者在该方向做了长期深入的研究,知之甚深。本书内容全面系统，非常适合对图表示学习感兴趣的读者阅读。”

——刘欢

亚利桑那州立大学计算机科学及工程教授，AAAI、AAAS、ACM、IEEE Fellow

“异质图表示学习是近年数据挖掘的研究热点，成功应用于很多领域。本书系统完整地介绍了异质图表示学习的研究进展，同时还覆盖了相关应用，是一本非常值得推荐的书。”

——裴健

杜克大学教授，加拿大皇家学会院士，加拿大工程院院士

数据科学与机器学习专家，ACM、IEEE Fellow

“本书深入浅出地探讨了数据挖掘的前沿话题：异质图表示学习。其内容充实，案例丰富，相信能够帮助读者系统性地了解这个领域的发展状况与广阔前景。”

——唐杰

清华大学教授，杰青，ACM、IEEE Fellow

“异质图分析和异质图表示学习技术已经广泛应用到互联网服务领域。本书对异质图表示学习的概念、模型、应用和平台进行了深入系统的介绍，对企业研发人员具有重要指导意义。”

——周靖人

阿里巴巴资深副总裁，达摩院副院长，大规模分布式系统专家，IEEE Fellow

序
前言
第一部分 概况
第1 章引言2
1.1 基本概念和定义2
1.2 图表示学习5
1.3 异质图表示学习及其挑战5
1.4 本书的组织结构6
参考文献6
第2 章异质图表示方法的最新进展9
2.1 方法分类9
2.1.1 结构保持的异质图表示9
2.1.2 属性辅助的异质图表示11
2.1.3 动态异质图表示12
2.1.4 面向应用的异质图表示12
2.2 技术总结14
2.2.1 浅层模型14
2.2.2 深度模型14
2.3 开源资料15
2.3.1 基准数据集15
2.3.2 开源代码16
2.3.3 可用工具16
参考文献18
第二部分 技术篇
第3 章结构保持的异质图表示学习26
3.1 简介26
3.2 基于元路径的随机游走27
3.2.1 概述27
3.2.2 HERec 模型27
3.2.3 实验31
3.3 基于元路径的分解34
3.3.1 概述34
3.3.2 NeuACF 模型35
3.3.3 实验38
3.4 关系结构感知的异质图表示学习算法43
3.4.1 概述43
3.4.2 异质图中的关系结构特征分析44
3.4.3 RHINE 模型47
3.4.4 实验48
3.5 网络模式保持的异质图表示学习算法51
3.5.1 概述51
3.5.2 NSHE 模型52
3.5.3 实验55
3.6 本章小结56
参考文献57
第4 章属性辅助的异质图表示学习61
4.1 简介61
4.2 基于层次注意力机制的异质图神经网络62
4.2.1 概述62
4.2.2 HAN 模型63
4.2.3 实验66
4.3 异质图传播网络70
4.3.1 概述70
4.3.2 语义混淆分析71
4.3.3 HPN 模型73
4.3.4 实验76
4.4 异质图结构学习77
4.4.1 概述77
4.4.2 HGSL 模型78
4.4.3 实验82
4.5 本章小结84
参考文献84
第5 章动态异质图表示学习88
5.1 简介88
5.2 增量学习89
5.2.1 概述89
5.2.2 DyHNE 模型89
5.2.3 实验95
5.3 时序信息99
5.3.1 概述99
5.3.2 SHCF 模型100
5.3.3 实验103
5.4 时序交互105
5.4.1 概述105
5.4.2 THIGE 模型106
5.4.3 实验110
5.5 本章小结111
参考文献112
第6 章异质图表示学习的新兴主题116
6.1 简介116
6.2 对抗学习117
6.2.1 概述117
6.2.2 HeGAN 模型118
6.2.3 实验121
6.3 重要性采样122
6.3.1 概述122
6.3.2 HeteSamp 模型123
6.3.3 实验127
6.4 双曲空间表示130
6.4.1 概述130
6.4.2 HHNE 模型130
6.4.3 实验132
6.5 本章小结135
参考文献135
第三部分 应用篇
第7 章基于异质图表示学习的推荐140
7.1 简介140
7.2 TopN推荐141
7.2.1 概述141
7.2.2 MCRec 模型142
7.2.3 实验145
7.3 冷启动推荐148
7.3.1 概述148
7.3.2 MetaHIN 模型149
7.3.3 实验153
7.4 作者集识别156
7.4.1 概述156
7.4.2 ASI 模型157
7.4.3 实验162
7.5 本章小结164
参考文献164
第8 章基于异质图表示学习的文本挖掘168
8.1 简介168
8.2 短文本分类169
8.2.1 概述169
8.2.2 短文本异质图建模169
8.2.3 HGAT 模型171
8.2.4 实验173
8.3 融合长短期兴趣建模的新闻推荐176
8.3.1 概述176
8.3.2 问题形式化177
8.3.3 GNewsRec 模型177
8.3.4 实验182
8.4 偏好解耦的新闻推荐系统184
8.4.1 概述184
8.4.2 GNUD 模型185
8.4.3 实验188
8.5 本章小结190
参考文献191
第9 章基于异质图表示学习的工业应用195
9.1 简介195
9.2 套现用户检测196
9.2.1 概述196
9.2.2 预备知识196
9.2.3 HACUD 模型197
9.2.4 实验200
9.3 意图推荐202
9.3.1 概述202
9.3.2 问题形式化203
9.3.3 MEIRec 模型204
9.3.4 实验207
9.4 分享推荐209
9.4.1 概述209
9.4.2 问题形式化210
9.4.3 HGSRec 模型210
9.4.4 实验214
9.5 好友增强推荐217
9.5.1 概述217
9.5.2 预备知识218
9.5.3 SIAN 模型219
9.5.4 实验222
9.6 本章小结226
参考文献226
第四部分 平台篇
第10 章异质图表示学习平台与实践230
10.1 简介230
10.2 基础平台231
10.2.1 深度学习平台231
10.2.2 图机器学习平台234
10.2.3 异质图表示学习平台236
10.3 异质图表示学习实践237
10.3.1 构建数据集237
10.3.2 构建Trainerflow 241
10.3.3 HAN 实践243
10.3.4 RGCN 实践246
10.3.5 HERec 实践248
10.4 本章小结250
参考文献250
第11 章未来研究方向252
11.1 简介252
11.2 保持异质图结构253
11.3 捕获异质图特性253
11.4 异质图上的图深度学习254
11.5 异质图表示方法的可靠性254
11.6 更多的现实应用255
11.7 其他255
参考文献256

序

在当今的互联世界中，图和网络无处不在。在复杂网络模型中，异质网络（异质图）将现实世界的系统建模为大量多模态和多类型对象之间的交互。由于异质网络对复杂网络固有结构的显式建模有助于进行强大、深入的网络分析，因此异质网络显得尤为重要。近年来，表示学习（嵌入学习）通过各种深度学习或嵌入方法来用低维分布表示高维数据，获得迅速发展，已成为高维数据分析的有力工具。与此同时，图表示学习（网络嵌入）在低维空间中学习节点/边的表示，也已经证明了它在各种图挖掘和图分析任务中的有效性。

本书是第一本专注于异质图表示学习的书。异质图表示学习是指在低维空间中学习异质图中的节点/边表示，同时为下游任务（例如，节点/图分类和链接预测）保留异质结构和语义，近年来已成为一种功能强大、逼真且通用的网络建模工具，并越来越受到学术界和工业界的关注。

本书对异质图表示学习及其应用进行了全面而广泛的介绍，包括对该领域代表性工作的研究。本书不仅广泛介绍了主流的技术和模型，包括结构保持、属性辅助技术和动态图技术，而且介绍了其在推荐、文本挖掘和工业领域的广泛应用。此外，本书还提供了异质图表示学习的平台以及实践。作为该领域的第一本书，本书总结了异质图表示学习的最新发展，并介绍了该领域的前沿研究。总体而言，本书具有以下两个特点：1）为研究人员阐述该领域的基本问题，以及现阶段该领域的研究热点；2）展示关于异质图在真实系统建模和学习交互系统结构特征上的最新应用研究。

本书作者在异质图表示学习和相关领域有大量研究经验。PhilipS.Yu是数据挖掘和异质信息网络领域的权威专家之一。石川是Philip在异质信息网络研究领域的长期合作者，他系统地研究了基于异质图的推荐和表示学习，将异质信息网络建模应用于电子商务和文本挖掘领域，近年来在异质图表示学习领域做了大量领先的工作。王啸是网络嵌入研究领域的一位新星学者。本书系统地总结了他们在异质图表示学习方面的贡献，不仅可以作为学术界和工业界的指南，也可以作为本科生和研究生的教科书。希望大家可以享受本书愉快的阅读之旅。

韩家炜（Jiawei Han）

Michael Aiken 讲席教授

伊利诺伊大学厄巴纳–香槟分校

前言

异质图是在真实世界中普遍存在的包含不同类型的节点和边的图。从书目网络和社交网络到推荐系统数据，里面都存在着异质图。异质图表示学习是指在低维空间中学习节点/边表示，同时为下游任务（例如，节点/图的分类和链接预测）保留异质结构和语义，目前这个方向吸引了相当多的关注，我们已经见证了异质图表示学习方法在各种实际应用（如推荐系统）上的惊人表现。越来越多的关于异质图表示学习的工作出现，也预示着这个方向是学术界和工业界的一个全球性研究趋势。因此，全面总结和讨论异质图表示学习方法可谓迫在眉睫。

相比于同质图表示学习，异质图中的异质性使异质图表示学习存在着特有的挑战。例如，异质图中存在着多种类型的边，这使得它存在更复杂的结构，而且节点属性也是异质的。同时，异质图表示学习与现实世界的应用高度相关，从异质图构建到学习，可能需要更多的领域知识。以上这些因素都会严重影响异质图表示学习的性能，因此需要仔细考虑。总之，对异质图表示学习的研究具有重要的科学和应用价值。

本书面向的是对异质图感兴趣的读者，总体来说，本书是为那些希望了解异质图表示学习的基本问题、技术和应用的读者准备的。具体来说，我们希望相关领域的学生、研究人员和工程师都能从本书中得到启发。

本书分为四个部分，第一部分简要介绍整个领域，第二、三部分深入研究相关技术和应用，第四部分介绍一个异质图神经网络算法平台，并探索未来方向。

在第一部分中，我们首先从不同方面概述最近的异质图表示学习方法，同时总结一些公开资料，可以为这一领域的未来研究和应用提供便利。这一部分将帮助读者迅速了解这个领域的整体发展。具体来说，在第1章，我们将介绍基本概念和定义，以及同质和异质图表示学习的背景，第2章介绍方法分类和公开资料。

在第二部分中，我们将对有代表性的异质图表示学习技术进行深入而详细的介绍。这一部分将帮助读者了解这个领域的基本问题，并阐明如何为这些问题设计最优的异质图表示学习方法。在第3章中，我们将讨论结构保持的异质图表示学习方法，包括元路径结构和网络模式结构。第4章介绍带属性的异质图表示学习方法，集中介绍异质图神经网络。之后，我们将在第5章中介绍动态异质图表示学习方法，这些方法考虑了增量学习、时序信息和时序交互。在第6章中，我们将讨论异质图表示学习的一些新兴话题，包括对抗学习、重要性采样和双曲空间表示学习。

在第三部分中，我们将总结异质图表示学习在现实中的应用。读者在这一部分可以了解异质图表示学习的成功应用，以及将先进的技术应用于现实场景的方法。在第7章中，我们会展示异质图表示学习是如何改进不同推荐系统的，例如Top-N推荐、冷启动推荐和作者集识别。第8章介绍文本挖掘的应用，重点是短文本分类和新闻推荐场景。在第9章中，我们将介绍异质图表示学习在工业界的应用，例如套现用户检测、意向推荐、分享推荐和好友增强推荐。

在第四部分中，我们将介绍一个异质图表示学习的计算平台，并对本书进行总结。考虑到深度学习平台的重要性，在第10章中，我们将介绍图机器学习的基础平台，特别是我们研发的异质图神经网络算法开源平台OpenHGNN。同时，我们以三个代表性的异质图神经网络为例，展示如何使用该平台。最后，我们在第11章讨论未来的研究方向和尚未解决的问题。

在本书的撰写过程中，除作者外，还有其他一些人也做出了很大的贡献，我们向所有为撰写本书做出贡献的人表示衷心的感谢。这些人包括薄德瑜、刘佳玮、王睿嘉、吉余岗、纪厚业、张依丁、张梦玫、杨天持、范少华、王春辰、韩辉、崔琪、张琦、刘念、庄远鑫、王贞仪、楚贯一、刘洪瑞、李晨、赵天宇、翟新龙、夏东林、梁峰绮。我们也要感谢PhilipS.Yu教授的许多学生的精心校对，他们是曹雨微、窦英通、范子炜、黄鹤、李霄寒、刘志伟、夏聪颖。此外，本书得到了国家重点基础研究发展计划（2013CB329606）和国家自然科学基金(No.U20B2045,U1936220,61772082,61702296,62002029,62172052)的支持，还得到了美国国家科学基金会III-1763325、III-1909323、III-2106758和SaTC-1930941赠款的部分支持。我们也一并表示感谢。最后，感谢我们的家人在本书写作过程中给予我们的全心全意的支持。