AI安全：技术与实战

● 国内首部揭秘AI安全【前沿技术】图书，【腾讯安全朱雀实验室】首著。

● 前沿【攻击方法和原理】分析，原汁原味【实战案例】呈现。

● 全书涵盖6大主题14个实战案例，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型安全、AI数据隐私窃取、AI应用失控风险等。

● 附赠全书实战代码，作者在线答疑等增值服务。

● 全彩极致印刷，最佳视觉体验。

● 本书首先介绍AI与AI安全的发展起源、世界主要经济体的AI发展战略规划，给出AI安全技术发展脉络和框架，并从AI安全实战出发，重点围绕对抗样本、数据投毒、模型后门等攻击技术进行案例剖析和技术讲解；然后对预训练模型中的风险和防御、AI数据隐私窃取攻击技术、AI应用失控的风险和防御进行详细分析，并佐以实战案例和数据；最后对AI安全的未来发展进行展望，探讨AI安全的风险、机遇、发展理念和产业构想。

● 本书适合AI和AI安全领域的研究人员、管理人员，以及需要实战案例辅助学习的广大爱好者阅读。

腾讯安全朱雀实验室专注于AI安全技术研究及应用，围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果，议题入选CVPR、ICLR、CanSecWest、HITB、POC、XCon等国内外顶级会议，面向行业发布了业内第一个AI安全威胁风险矩阵，持续聚焦AI在产业应用的安全问题，助力AI安全技术创新。

人工智能（AI）被认为是引领第四次工业革命进入智能化时代的核心驱动技术。AI理论和技术日益成熟，应用领域也被不断扩大，它改变了数字、物理和生物世界，形成了我称为的“虚实集成世界”(Integrated Physical-Digital World,IPhD)。毫无疑问，AI正在帮助各行各业实现智能化升级，并创造很多新的机会。

我相信AI将带给我们更美好的未来。但我们也清楚地认识到，这一波的AI技术主要是基于深度学习的系统，非常依赖于大模型、大数据和云服务。AI大模型参数多、可解释性差，比较容易遭到对抗样本攻击；大数据噪声大，质量难保证，可能引来攻击者数据投毒；云服务虽然给我们提供了便宜的算力和便捷的生活，但也给攻击者提供了便利，造成隐私窃取和应用失控。

我在腾讯的同事——朱雀实验室的小伙伴们，从2019年开始研究AI安全，涉及模型安全、AI滥用、AI伦理等，同时也在构建和完善AI安全蓝图，并将这些技术和应用落地。这本书凝聚了他们在AI安全技术的研究和实践中积累的多年经验。我相信他们踩过的“坑”和成功的案例将对AI安全领域的研究人员和管理人员带来极大的帮助。

——张正友 腾讯首席科学家、腾讯AI Lab和腾讯Robotics X实验室主任

由于硬件和算法的快速发展，以深度学习为代表的各类人工智能技术已经被广泛用于人脸识别、自动驾驶、物联网等各类重要应用中。由于其内生的脆弱性，人工智能技术的发展往往也会带来新的安全问题。然而，人工智能技术的内源安全性问题往往无法通过传统信息安全的技术来直接解决。因此，系统性地研究人工智能技术中可能存在的安全性问题和其对应的解决方案具有重要意义。

人工智能内源安全性问题的相关探索可以追溯到20世纪中叶对各类传统机器学习算法鲁棒性和稳定性的研究。近代人工智能内源安全性研究主要针对于以深度神经网络为代表的深度学习。这些相关研究主要围绕深度学习模型，从数据采集、模型训练、模型部署和模型预测等模型全生命周期展开，其目的主要是为了误导模型的预测导致出现安全性威胁或窃取用户隐私。误导模型输出的相关研究包括数据投毒、后门攻击、对抗攻击、深度伪造等。在用户隐私的窃取方面，相关研究包括成员推断、属性推断、深度梯度泄露等。这些新兴的安全威胁给使用人工智能技术的相关算法和系统带来了新的重要挑战。

目前，有关人工智能安全的专著国内并不是很多。此次腾讯安全朱雀实验室编著的《AI安全：技术与实战》从实际应用场景的视角出发，除了以简要的方式回顾了人工智能安全的各项重要技术，还提供了包括代码在内的多个具有代表性的实战案例。本书既可作为教材供高年级本科生和研究生学习，也可作为白皮书供从事与人工智能技术相关的研究人员、开发人员和管理人员，以及广大人工智能爱好者们查阅。相信本书提供的实战案例能够帮助读者更加快速、深入地了解人工智能安全的各项技术在实际应用场景下的具体部署和应用。

——江勇 清华大学教授

AI安全其实应该分成两个方面——用AI来解决安全问题，以及保证AI系统自身的安全性。用AI来解决安全问题是目前非常热的研究领域，近几年随着移动互联网及云计算的普及，产生了大量的数据。如何有效地从中挖掘信息来帮助企业的安全建设，现在有比较成熟的方式方法，比如垃圾邮件的分类就相当成功。在另外一些领域，比如在恶意代码的判别、恶意行为的识别上，目前还不是那么的成功，但也正在稳扎稳打地推进，相信再过一段时间，也会取得长足的进步。

朱雀实验室的这本书却论述的是另一个主题——AI系统本身的安全性。目前，市面上有关这方面的著作不多，这本书可谓及时填补了这一空白。AI系统的发展也分为几个阶段，最早是专家系统，即把专家的经验变成确定的规则，用这些规则来做一个判断，目前专家系统的模式在安全产品中得到了广泛的应用，比如AV、WAF、防火墙、IDS 等产品基本都是基于这样的系统，但专家的经验不足以解决全部问题。事实上，在大部分场景下都有办法可以绕过这样的检测，而“现实的攻防场景”正是当下的主旋律，在二进制攻防领域，各个大公司的专家花了20年时间想尽办法来防止对二进制漏洞的利用。但很遗憾的是，这是个无法完成的任务，每年依旧有大量成功利用的例子。

第二阶段是一些传统的基于数据处理的算法，比如SVM、贝叶斯分类，关于这些算法有非常多的成功的例子，比如上面提到的垃圾邮件分类，但使用这样的算法的前提也是对人工分类的数据加以训练，并通过专家的经验来提取特征，只要明白它背后的原理，也是有非常多的容易的方法可以绕过它、误导它。

第三个阶段就是当下最火的基于深度学习的AI系统，这种系统蕞大的问题是不可解释性，背后的原理无从得知，在绝大多数情况下都是非常正确的，但是一旦出问题，就不知道如何去修正，如何去解释它会出错，因为我们对其判断的依据无法通过简单的规则来修正。这样的系统很可怕，不知道什么时候就会出大问题，我们在2020年左右对多款电动车的自动驾驶系统做过安全性测试，结果是触目惊心的，大多数系统都存在非常严重的安全问题，可以很容易通过一些方法让这些系统产生误判，而导致严重的交通事故。

朱雀实验室的这本书对于AI本身的安全问题做了一个全面的阐述与总结，同时也系统化地对AI安全测试的方法做了细致的分类与讲解，具有很强的实用性。

无论你是研究AI，还是研究安全，这本书都有很高的价值。而且随着AI系统的推广，相信未来AI安全会成为安全研究的中心问题，相信这本书能够为大家进入这个领域做一个不错的向导，也期待朱雀实验室后续能够在这个领域有更多更好的著作出版，以飨读者。

此为序。

——吴石 腾讯安全科恩实验室负责人

随着AI技术的发展，AI已经在影响着我们的生活，甚至连安全产品检测攻击都在广泛地应用AI技术。

但是，AI本身是否安全呢？

本书并不是一本理论性的图书，作者团队在AI安全领域深耕多年，总结了针对数据、算法和模型的多种攻击技术，用实际、具体的案例证明了AI在安全上的脆弱性，当然也给出了防御上的解决方案。

攻与防永远是螺旋式上升的态势，“AI安全”仅仅才是开始，我推荐本书给每一位安全从业者。除此之外，我一直认为蕞优秀的程序员一定懂得如何写出安全的代码。因此，我也推荐本书给每一位AI从业人员，一起致力于打造出安全的AI。

——欧阳欣 阿里云安全负责人

●第1章 AI安全发展概述●

1.1 AI与安全衍生

1.1.1 AI发展图谱

1.1.2 各国AI发展战略

1.1.3 AI行业标准

1.1.4 AI安全的衍生本质——科林格里奇困境

1.2 AI安全技术发展脉络

●第2章 对抗样本攻击●

2.1 对抗样本攻击的基本原理

2.1.1 形式化定义与理解

2.1.2 对抗样本攻击的分类

2.1.3 对抗样本攻击的常见衡量指标

2.2 对抗样本攻击技巧与攻击思路

2.2.1 白盒攻击算法

2.2.2 黑盒攻击算法

2.3 实战案例：语音、图像、文本识别引擎绕过

2.3.1 语音识别引擎绕过

2.3.2 图像识别引擎绕过

2.3.3 文本识别引擎绕过

2.4 实战案例：物理世界中的对抗样本攻击

2.4.1 目标检测原理

2.4.2 目标检测攻击原理

2.4.3 目标检测攻击实现

2.4.4 攻击效果展示

2.5 案例总结

●第3章 数据投毒攻击●

3.1 数据投毒攻击概念

3.2 数据投毒攻击的基本原理

3.2.1 形式化定义与理解

3.2.2 数据投毒攻击的范围与思路

3.3 数据投毒攻击技术发展

3.3.1 传统数据投毒攻击介绍

3.3.2 数据投毒攻击约束

3.3.3 数据投毒攻击效率优化

3.3.4 数据投毒攻击迁移能力提升

3.4 实战案例：利用数据投毒攻击图像分类模型

3.4.1 案例背景

3.4.2 深度图像分类模型

3.4.3 数据投毒攻击图像分类模型

3.4.4 实验结果

3.5 实战案例：利用投毒日志躲避异常检测系统

3.5.1 案例背景

3.5.2 RNN异常检测系统

3.5.3 投毒方法介绍

3.5.4 实验结果

3.6 案例总结

●第4章 模型后门攻击●

4.1 模型后门概念

4.2 后门攻击种类与原理

4.2.1 投毒式后门攻击

4.2.2 非投毒式后门攻击

4.2.3 其他数据类型的后门攻击

4.3 实战案例：基于数据投毒的模型后门攻击

4.3.1 案例背景

4.3.2 后门攻击案例

4.4 实战案例：供应链攻击

4.4.1 案例背景

4.4.2 解析APK

4.4.3 后门模型训练

4.5 实战案例：基于模型文件神经元修改的模型后门攻击

4.5.1 案例背景

4.5.2 模型文件神经元修改

4.5.3 触发器优化

4.6 案例总结

●第5章 预训练模型安全●

5.1 预训练范式介绍

5.1.1 预训练模型的发展历程

5.1.2 预训练模型的基本原理

5.2 典型风险分析和防御措施

5.2.1 数据风险

5.2.2 敏感内容生成风险

5.2.3 供应链风险

5.2.4 防御策略

5.3 实战案例：隐私数据泄露

5.3.1 实验概况

5.3.2 实验细节

5.3.3 结果分析

5.4 实战案例：敏感内容生成

5.4.1 实验概况

5.4.2 实验细节

5.4.3 结果分析

5.5 实战案例：基于自诊断和自去偏的防御

5.5.1 实验概况

5.5.2 实验细节

5.5.3 结果分析

5.6 案例总结

●第6 章 AI数据隐私窃取●

6.1 数据隐私窃取的基本原理

6.1.1 模型训练中数据隐私窃取

6.1.2 模型使用中数据隐私窃取

6.2 数据隐私窃取的种类与攻击思路

6.2.1 数据窃取攻击

6.2.2 成员推理攻击

6.2.3 属性推理攻击

6.3 实战案例：联邦学习中的梯度数据窃取攻击

6.3.1 案例背景

6.3.2 窃取原理介绍

6.3.3 窃取案例

6.3.4 结果分析

6.4 实战案例：利用AI水印对抗隐私泄露

6.4.1 案例背景

6.4.2 AI保护数据隐私案例

6.4.3 AI水印介绍

6.4.4 结果分析

6.5 案例总结

●第7 章 AI应用失控风险●

7.1 AI应用失控

7.1.1 深度伪造技术

7.1.2 深度伪造安全风险

7.2 AI应用失控防御方法

7.2.1 数据集

7.2.2 技术防御

7.2.3 内容溯源

7.2.4 行业实践

7.2.5 面临挑战

7.2.6 未来工作

7.3 实战案例：VoIP电话劫持+语音克隆攻击

7.3.1 案例背景

7.3.2 实验细节

7.4 实战案例：深度伪造鉴别

7.4.1 案例背景

7.4.2 实验细节

7.4.3 结果分析

7.5 案例总结

●后记 AI安全发展展望●

● 第3章 数据投毒攻击●

近些年，随着深度学习技术进一步发展与应用，深度学习模型的脆弱性被众多领域专业人员发现并指出。对抗样本相关技术即体现模型脆弱性一个十分重要的方面。不同于对抗样本攻击，数据投毒攻击是另一种通过污染模型训练阶段数据来实现攻击目的的手段，其利用深度学习模型数据驱动（Data-driven）的训练机制，通过构造特定的样本数据影响模型训练，从而实现部分控制模型表现的能力。考虑到众多AI 产品都存在广泛的数据收集入口，因此数据投毒攻击同样为深度学习模型在工业产品中的应用带来了巨大的隐患。

本章首先对数据投毒攻击原理进行介绍，然后对其技术发展进行较为系统的总结，最后通过在图像分类和异常检测任务中进行的投毒实战案例帮助大家进一步理解数据投毒攻击的潜在影响与危害。

很早之前人们就已经发现了数据的魅力，很多成功的工业产品都使用基于数据分析获得的专家经验策略或基于数据训练的算法系统来为人们提供更好的服务，其中数据起着十分核心的作用。例如，20世纪90年代在美国超市中发生的“啤酒与尿布”的故事。超市管理人员在进行数据分析时发现，“啤酒”与“尿布”两个看似毫不相关的产品总是会出现在不同人的同一笔订单中。后续调查发现，美国有孩子的家庭往往是年轻父亲出门购买孩子用品的，而在购买“尿布”的同时，他们往往会为自己购买一些“啤酒”。基于这个发现，超市尝试将“啤酒”与“尿布”安排在较近的位置，从而为用户提供了更好的购物体验，也提升了超市销售量。类似地，在异常检测领域，有专家通过对数据进行分析，设计不同规则（或算法）来辅助异常检测。

近些年，随着深度学习技术的发展，深度学习模型对不同对象，包括图像、文本等，都有了更强的学习表达能力。基于大量数据，我们可以训练更好的模型为人们生活提供更加智能的服务。这类基于数据进行经验总结或模型学习的方法被统称为数据驱动的方法。基于海量的数据，虽然开发者可以使用数据分析或深度学习技术构建众多高价值的应用，但数据驱动的机制同时为它们埋下了巨大的安全隐患，尤其对于深度学习模型，复杂与不可解释的网络结构使得深度学习模型很容易受到投毒数据攻击的影响，产生无意义或有针对性的结果。这里以图3.1 中展示的4 个场景为例，分别给出不同场景下的数据投毒攻击示例，来帮助读者理解数据投毒攻击的影响与危害。

电商平台中往往存在海量商品，快速展示用户感兴趣并与搜索目标匹配的商品是提升用户好感度、提升平台竞争力的关键。为了实现上述目标，以平台用户历史行为记录数据为基础，研究人员提出了许多不同思想的推荐算法来匹配用户的个人偏好与兴趣。在信息爆炸的今天，这些算法起着越来越重要的作用。然而这类电商平台，早在20世纪末其产业化的初始阶段，就饱受数据投毒攻击的困扰。

电商领域黑产人员通过“猫池”“雇人刷单”等形式在平台低成本地批量产生虚假数据，影响平台推荐算法的结果。近些年，基于深度学习发展出了更多优秀的推荐算法，可以为平台提供更精准的推荐服务，但同时因为深度学习模型的脆弱性，平台面临着更严重的数据投毒威胁。异常检测同样依赖历史数据进行数据分析或模型构建来实现对样本的区别与分类，包括虚假新闻检测、垃圾邮件检测等。典型的方法包括但不限于基于规则的标签传播方法、基于神经网络的方法等，这类方法同样面临数据投毒攻击的危险。以垃圾邮件检测为例，攻击者构造部分垃圾邮件并通过邮件服务商开放入口将部分垃圾邮件标注为正常，从而影响垃圾邮件检测模型的训练过程，使模型预测结果发生偏移。在后续的服务中，躲避检测的垃圾邮件就可以成功进入其他用户的收件箱。

图像领域以CNN为基础，发展出了很多不同的经典网络结构，包括AlexNet、VGGNet、GoogleNet、ResNet等。AlexNet在2012年的ImageNet 图像分类比赛中刷新了识别率，是第一个真正意义上的深度学习网络，其提出的卷积和池化堆叠的网络结构获得了当时最优的效果。然而对于这类复杂的深度学习模型，研究人员提出通过在模型训练中注入一些特定的污染数据样本，可以很容易地实现一些预定义的攻击目标。以人脸识别场景为例，通过特定的数据样本注入可以实现“人脸隐蔽”“人员误判”等。“人脸隐蔽”即躲避人脸识别系统检测，使目标人员在检测系统中消失。“人员误判”即人脸识别系统将目标人员识别为预先指定的某位人员。这些“漏洞”为图像领域中深度学习模型的应用埋下了巨大的安全隐患，外部攻击者可能会通过此类“漏洞”成功进入有人脸识别安防系统的重要场地。

人机对话系统（自然语言处理子任务）得益于RNN 与注意力机制等深度学习技术的发展，近些年性能得到了很大的提升，在智能客服、智能家居等不同场景中得到了十分广泛的应用。基于深度学习，人机对话系统可以轻松学习并抽取高层次的语言特征。针对这类系统，有攻击者尝试通过数据投毒攻击影响对话效果。例如，攻击者通过数据投毒攻击使得人机对话系统在服务时，面对不同用户的不同问题全部回答“不知道”；更有针对性地，攻击者通过数据投毒攻击可以实现令人机对话系统主动返回一些“种族歧视”言论的效果。这会使得人机对话系统的服务质量严重下降，同时可能会造成十分不好的社会影响。

总的来说，数据投毒攻击是一种通过控制模型训练数据来主动创造模型漏洞的技术。深度学习技术复杂且难以解释，在带来性能提升的同时，其数据驱动的训练机制为不同领域产品埋下了巨大的安全隐患，一旦被有心者利用，可能会产生巨大的经济损失与社会影响。

●序●

如果说，早期人们对AI技术的能力还抱有些许质疑的话，那么2016年Google公司AlphaGo的横空出世，则让普罗大众对AI技术的看法有了耳目一新的变化，越来越多的AI技术被应用到各行各业中，带来商业繁荣的同时也带来了人们更多的担忧。

在AI技术的加持之下，我们的生活在不知不觉中不断发生着“从量变到质变”的迭代。我们通过AI技术赋能的内容平台可以更深入地了解世界和自己，同时也承担着“信息茧房”之伤害。我们通过AI技术赋能的商业平台获得更多的便捷性，同时也被“大数据杀熟”等副作用包围。

我们被AI“计算”，同时也被AI“算计”。

随着AI技术在各类商业、业务模式中的广泛应用，身为安全从业者的我们不得不对这一古老而又新鲜的技术模式加以重视。到底AI技术会给安全行业带来哪些“巨变”？

多年以前，我和我的团队在安全工作中遇到过一个特殊的黑产团伙，该团伙让我们“青睐有加”的原因在于，其在相关的攻防场景里，用了当时颇为流行的Caffe深度学习框架和卷积神经网络，这使得他们同其他竞争者相比攻击效率有了数倍的提升。

尽管这个黑产团伙后来被及时打掉，但这也让我们意识到一个事实——在未来的日子里，AI技术必将是安全战场攻防两端的兵家必争之地。

从那时候起，我的团队就开始在AI安全方面做大量细致、深入的探索研究工作，我们的尝试和实践主要覆盖以下几个方面。

（1）AI技术本身的安全性。

（2）AI技术为攻击提效。

（3）AI技术为防守助力。

（4）AI技术之以攻促防，攻防联动。

我们走过一些弯路，也有过一些收获。我们参考了很多前辈和行业专家的经验成果，也分享过一些小小的发现。而正是在这个探索过程中，我们意识到，前辈们的探索经验和研究成果，为我们所进行的安全研究工作带来了诸多的便捷性。

所以，本着继承和发扬前辈们的开放、协作和共享精神，我们也将工作中的点滴进行了总结与归纳，把研究历程中的一些经验沉淀下来形成本书。

本书的重点将锚定在AI安全发展的通用技术上，包括对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型中的风险与防御、AI数据隐私窃取攻击，以及AI 应用失控等方面。本书对各类攻击方法及其技术原理进行了分析，并详细介绍了基于不同算法和数据实验的实现过程和案例总结，基本保持了原汁原味，以便志同道合的读者朋友们进行参考，这也算是我和我的团队为AI安全工作尽的一些绵薄之力。

我们深知，一方面，安全和技术的发展都日新月异、持续更新和迭代，本书中一些内容和知识点随着时间的推移都会逐渐过时、落伍，所以我们也会继续不断探索、保持更新。另一方面，也希望通过我们的管中窥豹来“抛砖引玉“，通过本书结识更多志同道合的朋友。

我始终相信，科技的力量会让人类文明更加美好，虽“道阻且长”，但“行则将至，行而不辍，未来可期”。我和团队的小伙伴们会继续努力，也欢迎有兴趣的读者朋友们一起探讨、共同研究，携手体验AI安全探索的奇妙之旅。

——杨勇 腾讯安全平台部负责人

●前言●

腾讯安全朱雀实验室于2019年开始着手AI安全的研究工作，涉及对抗样本攻击、模型安全、AI应用失控等多个领域。在技术研究和实践过程中，我们走过许多弯路，也尝过成功的喜悦，这在一定程度上凝结成了此书的大部分内容，特与读者分享。

回顾最初的探索，我们是从对抗样本开始的，在多个场景中实现通过轻微篡改来欺骗AI 模型，并尝试将技术成果在腾讯业务场景中找到落脚点。然而，在实践过程中，多次实验表明对抗样本的迁移性有限，即基于A模型生成的对抗样本很难在B模型上发挥作用。2019年年底，我们转而研究如何生成迁移性更好的对抗样本，并在一些学术会议和安全会议上分享了我们的研究成果及经验，如ECCV、CanSecWest等。和大多数AI 研究遇到的问题一样，实验室的研究成果在产业落地上往往力不从心。

2020年以来，朱雀实验室在相关技术积累的基础上，拓宽AI 安全研究领域，涉及模型安全、AI滥用、AI伦理等，同时构建和完善AI安全蓝图，进一步探索技术的应用落地。

在模型安全研究方面，我们分别在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI领域会议上分享非数据投毒式的模型后门攻击研究成果，验证了攻击在掌握少量模型信息的情况下，通过对网络参数的精准修改重建出模型后门的可能性，这进一步揭示了算法模型的脆弱性。

在AI应用失控方面，我们围绕深度伪造带来的潜在安全风险问题，一方面，从攻击的角度出发，去揭露一些安全风险问题；另一方面，从防御的角度出发，去落地一些用于深度伪造检测的工具，并连续两年在安全会议上分享工作成果。除此之外，我们在语音攻击、文本攻击等不同的领域也做了大量的实验工作。

在同AI算法打交道的过程中，我们发现，现阶段基于深度学习的系统是较容易遭到对抗样本攻击的。一方面，业务侧以功能需求为第一要务，安全防御方面的工作相对滞后，通常在出现攻击案例后才会进行分析和调整，而且这种修补过程并不像传统网络安全漏洞修补的过程，需要不断调整训练数据和优化训练过程，实施过程的成本较高；另一方面，AI算法的建立过程并没有引入安全环节把控，理论上攻击方法非常丰富，即使AI系统仅提供API级别的交互服务，攻击者也可以通过模型窃取攻击方式来拟合线上模型决策结果，建立一个本地的白盒模型，再在白盒模型的基础上进行迁移攻击，进而影响线上模型。

总体来看，当前阶段攻击方法走在了防御方法的前面，我们可以通过总结各种攻击方法来寻找有效的防御手段，同时可以把网络安全领域的防御思想加到AI系统的建设上来，在系统的研发过程中引入SDL规范，如增加敏感数据检测、适当进行对抗样本训练、进行软件层面的库和框架及时更新等。

AI安全是一项新技术，在多个层面都需要考虑安全问题。本书第1章是对AI安全发展的概要性介绍；第2～3章从数据层面讨论对抗样本、数据样本的安全问题；第4～5章从模型层面讨论模型后门和预训练模型的安全问题；第6～7章从应用角度讨论隐私窃取和应用失控问题。同时，在阐述过程中我们精选多个实战案例，力求把数据、算法、模型、应用等层面的安全问题向读者展示出来。

AI安全的发展在未来势必会迎来更加严峻的挑战，我们将自己的研究成果在本书中进行分享，敬请读者批评指正。希望能借此书，与同行共同推动AI安全的发展和进步。最后衷心感谢电子工业出版社所给予的支持。感谢付出了大量时间和精力完成本书的同事，他们是杨勇、朱季峰、唐梦云、徐京徽、宋军帅、李兆达、骆克云。

——腾讯安全朱雀实验室