自然语言处理领域中差分隐私和可解释技术的应用

自然语言处理技术经历了小规模专家知识（20世纪50年代-90年代）、大规模语料库统计模型（20世纪90年代至21世纪初）、大规模语料库深度学习（2010-2017年）和大规模预训练语言模型（2018年至今）四个阶段。预训练模型的研究和应用是从2013年开始的，标志性事件是2018年10月谷歌的Bert模型的出现，颠覆了NLP领域的研究范式，多数的NLP任务都转换成在预训练语言模型上的学习，然后在下游任务中使用微调的模式。特别是2023年初OpenAl公司的ChatGPT的火爆问世，ChatGPT的API已于2023年3月1日公开，而其背后的大规模语言模型的公开，必将导致包含隐私敏感数据训练的模型被提取出训练数据中的隐私敏感信息。差分隐私技术和可解释性技术可以有效地解决隐私数据泄露和模型不透明的问题。本书先介绍了自然语言和差分隐私的理论基础，论述当前自然语言模型所面临的隐私攻击类型，在此基础之上根据文本处理粒度和扰动位置的不同，分别介绍单词层级的差分隐私、Token层级的差分隐私、句子层级的差分隐私、主题层级的差分隐私和基于梯度扰动的差分隐私。最后论述自然语言处理模型中相关的可解释性技术。该书研究成果广泛适用于多种交叉学科，如社交网络、情感分析、聊天机器人、城市交通、金融风控等领域，从而发挥巨大的研究意义和经济价值。

陈珂锐，吉林大学计算机应用技术博士，现为河南财经政法大学计算机与信息工程学院讲师。在《计算机研究与发展》等权威期刊发表论文4篇。担任过1项国家自然科学基金重大研究计划研究、2项国家自然基金研究。曾获得吉林省科学技术奖三等奖，中国商业联合会科学技术奖三等奖。

1.导论
1.1 小规模专家知识阶段
1.2 大规模语料库统计模型阶段
1.3 大规模语料库深度学习阶段
1.4 大规模预训练语言模型阶段
2.自然语言处理基础
2.1 文本表示
2.2 自然语言处理任务
2.3 评价指标
3.预训练模型
3.1 静态词向量预训练模型
3.2 动态词向量预训练模型
3.3 预训练语言模型
4.自然语言处理中的神经网络
4.1 多层感知机
4.2 卷积神经网络
4.3 循环神经网络
4.4 注意力机制
4.5 Transformer模型
4.6 提示学习Prompt Learning
5.差分隐私相关基础
5.1 中心化差分隐私
5.2 本地差分隐私
5.3 度量差分隐私
5.4 UMLDP (Utility-optimized MLDP)
5.5 噪声机制
6.攻击类型
6.1 成员推理攻击
6.2 重建攻击
6.3 属性推理攻击
6.4 模型抽取攻击
6.5 梯度信息攻击
6.6 基于提示信息攻击
7.基于单词层级的差分隐私方法
7.1 中心化差分隐私场景下
7.2 本地化差分隐私场景下
7.3 度量差分隐私场景下
8.基于Token层级的差分隐私方法
8.1 SANTEXT和SANTEXT+
8.2 基于Bett系列的差分隐私方法
9.基于句子层级的差分隐私方法
9.1 Skip-Thoughts向量
9.2 Sent2Vec
9.3 Doc2Vec
9.4 SBERT
9.5 模糊词袋方法Fuzzy Bag-of-Words
9.6 其他方法
9.7 句子层级差分隐私方法框架
10.基于主题层级的差分隐私方法
1O.1 LDA方法
10.2 基于LDA方法的差分隐私技术
10.3 基于编码扰动方法
1O.4 基于文档层级的方法
10.5 SynTF方法
10.6 基于计数布隆过滤器差分隐私方法
11.基于梯度的差分隐私方法
11.1 DP-SGD
11.2 DP-Adam
11.3 DP-BERT
11.4 RGP
12.自然语言模型的可解释性
12.1 模型的解释技术
12.2 预测结果和解释技术
12.3 模仿者模型解释技术
12.4 性能评估
12.5 未来的挑战
参考文献