生成对抗网络GAN：原理与实践 pdf下载

（1）作者经验丰富：作者曾在奇虎360人工智能研究院、陌陌深度学习实验室等工作多年，负责月活10亿级的产品。

（2）作者知名度高：作者创办“有三AI”社区，有超过10万学员；著有5本深度学习方面的畅销书，发表原创技术文章200余万字。

（3）理论体系完善：系统讲解GAN的理论、各种模型和常见问题，其中GAN的目标优化、训练、评估等内容同类书中极少提及。

（4）实战案例丰富：9个综合案例，覆盖视觉和语音方面的8大应用场景，提供解决方案、案例代码、实验数据和实验结果对比分析。

（5）阅读体验很棒：内容循序渐进、深入浅出，包含大量原创插图，极大程度降低阅读难度。

这是一本系统讲解GAN理论、模型、常见问题，并为视觉和语音领域的大部分应用场景提供GAN解决方案和综合实例的著作。

作者在人工智能领域积累颇深，这本书得到了前阿里巴巴达摩院华先胜和中国科学院自动化所刘成林的推荐。前4章有针对性地讲解GAN的理论，帮助读者夯实基础；后8章讲解应用，用大量经典的模型和9个案例，为8个应用场景提供了GAN解决方案。

第1~4章首先介绍了无监督生成模型、显式生成模型、以GAN为代表的隐式生成模型等各种生成模型的理论和原理；然后讲解了GAN中的目标函数及其数学原理、GAN在训练中的常见问题和相应解决方案、GAN的评价指标和可视化等；

第5~12章分别讲解了图像生成GAN的各类模型与应用、图像翻译GAN的各类模型与应用、人脸图像编辑GAN的各类模型与应用、图像质量增强GAN的各类模型与应用、三维图片与视频生成GAN的各类模型与应用、通用的图像编辑GAN框架、对抗攻击以及GAN在其中的应用、GAN在语音信号处理中的实战应用。

全书内容理论体系完善，GAN的目标优化、训练、评估等内容同类书中极少提及；内容丰富、循序渐进，覆盖视觉和语音中的绝大部分应用场景；实战性强，9个综合案例，提供案例源代码和解读，以及实验数据和实验结果对比分析；图文并茂，包含大量原创图表，可读性强。

言有三（本名：龙鹏）

资深人工智能技术专家，曾就职于奇虎360人工智能研究院和陌陌科技深度学习实验室，服务于月活10亿级的AI产品。现为有三教育科技有限公司创始人，致力于提供人工智能领域的项目解决方案设计和研发服务。在人工智能技术领域有非常深厚的积累，擅长深度学习与计算机视觉，尤其是深度学习模型的设计与优化、生成对抗网络、人脸图像算法、摄影图像算法等。

阿里云MVP，华为云MVP，负责阿里云深度学习课程搭建，在数十所高校进行技术分享与课程建设。技术社区“有三AI”的创始人，撰写了超过200万字的原创技术文章。

乐于分享，善于总结，独自出版过4本深度学习领域的前沿著作：

《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)

《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)

《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)

《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)

郭晓洲（笔名：小米粥）

博士研究生，毕业于中国科学院半导体研究所，主要研究方向为生成模型、语音信号处理，具有扎实的理论基础和丰富的算法落地经验，发表多篇SCI、EI相关论文。技术社区“有三AI”专栏作者，负责“GAN的优化”、“生成模型”、“语音信号处理”等专栏的硬核技术输出。

本书对生成对抗网络的原理和实践做了非常详细的介绍和解读，不仅仅介绍了常见的GAN模型在图像、视频、语音、深度学习领域的对抗攻击和防御等方面的实践，还花了不少笔墨介绍生成对抗网络框架的理论基础，让读者能知其然，也能知其所以然。通过本书，读者不仅能了解常见GAN算法的设计思路和方法，还能举一反三，设计出自己的GAN，解决众多领域中尚未解决的问题。

——华先胜 IEEE Fellow/前阿里巴巴达摩院城市大脑实验室主任

GAN是近年来深度学习领域的热点之一，诞生之初即以其构思新颖奇妙而受到广泛关注，其后模型和算法创新成果大量涌现，在图像生成和风格转换等应用中不断取得惊艳的效果，并扩展到多模态数据应用，甚至上升到艺术创作的层次。然而，GAN的实现、应用、创新对研究开发者而言并不容易，需要使用者对原理、算法有深入理解并掌握一些实现技巧。本书正好满足了深度学习开发者在这方面的需求，以深入浅出的原理、算法介绍和丰富的应用实例为读者学习、掌握、应用GAN提供了有益指导。

——刘成林 中国科学院自动化研究所模式识别国家重点实验室主任/研究员

GAN是学术界和工业界都广泛重视的一类神经网络，两位作者在GAN的理论及应用研究方面有扎实的基础和丰富的经验，他们在本书中系统地总结了GAN的知识体系，透彻地介绍了典型的应用案例。本书兼备理论和实践价值，内容完整、丰富、专业，值得相关从业人员学习和参考。

——鲁华祥 中国科学院半导体研究所高速电路神经网络实验室研究员

生成对抗网络已经成为深度学习领域非常重要的内容，在数据增强、图像翻译和视频生成等领域得到了广泛的应用。本书深入剖析了生成对抗网络的基本原理，详细阐述了优化和训练技巧，全面介绍了生成对抗网络的应用，配以大量的应用实例和代码以加深对知识的理解。全书理论分析透彻、应用知识浅显易懂，适合人工智能从业人员阅读了解生成对抗网络理论及其工程实践。

——谭毅华 华中科技大学人工智能与自动化学院教授/博士生导师

目　　录
前言第1章　生成模型1　1.1　无监督学习与生成模型1
1.1.1　监督学习与无监督学习1
1.1.2　判别模型与生成模型3
1.1.3　无监督生成模型4
　1.2　显式与隐式生成模型5
1.2.1　极大似然估计法6
1.2.2　完全可见置信网络8
1.2.3　流模型13
1.2.4　变分自编码器18
1.2.5　玻尔兹曼机24
1.2.6　隐式生成模型27
　参考文献28第2章　目标函数优化29　2.1　GAN29
2.1.1　GAN概述30
2.1.2　GAN模型30
2.1.3　GAN的本质33
　2.2　LSGAN35
　2.3　EBGAN40
　2.4　f GAN42
　2.5　WGAN45
2.5.1　分布度量45
2.5.2　WGAN目标函数48
　2.6　Loss-sensitive GAN51
　2.7　WGAN-GP53
　2.8　IPM54
2.8.1　IPM概念55
2.8.2　基于IPM的GAN55
2.8.3　IPM与f散度57
　2.9　其他目标函数57
2.9.1　RGAN57
2.9.2　BEGAN58
　参考文献59第3章　训练技巧61　3.1　GAN训练的3个问题61
3.1.1　梯度消失61
3.1.2　目标函数不稳定性63
3.1.3　模式崩溃64
　3.2　退火噪声65
　3.3　谱正则化66
3.3.1　特征值与奇异值67
3.3.2　谱范数与1-Lipschitz
限制68
　3.4　一致优化71
3.4.1　欧拉法71
3.4.2　GAN动力学系统73
3.4.3　一致优化算法76
　3.5　GAN训练技巧77
3.5.1　特征匹配77
3.5.2　历史均值78
3.5.3　单侧标签平滑78
3.5.4　虚拟批正则化79
3.5.5　TTUR79
3.5.6　0中心梯度80
3.5.7　其他建议80
　3.6　模式崩溃解决方案80
3.6.1　unrolledGAN82
3.6.2　DRAGAN85
3.6.3　Minibatch判别器与
PGGAN86
3.6.4　MADGAN与
MADGAN-Sim87
3.6.5　VVEGAN89
　参考文献91第4章　评价指标与可视化93　4.1　评价指标93
4.1.1　评价指标的要求93
4.1.2　IS系列94
4.1.3　FID96
4.1.4　MMD97
4.1.5　Wasserstein距离98
4.1.6　近邻分类器98
4.1.7　GANtrain与GANtest99
4.1.8　NRDS100
4.1.9　图像质量度量101
4.1.10　平均似然值102
　4.2　GAN可视化103
4.2.1　设置模型103
4.2.2　训练模型105
4.2.3　可视化数据107
4.2.4　样例演示109
　参考文献110第5章　图像生成111　5.1　图像生成应用111
5.1.1　训练数据扩充111
5.1.2　数据质量提升112
5.1.3　内容创作112
　5.2　深度卷积GAN113
5.2.1　DCGAN原理114
5.2.2　DCGAN的思考115
　5.3　条件GAN117
5.3.1　有监督条件GAN117
5.3.2　无监督条件GAN118
5.3.3　半监督条件GAN119
5.3.4　复杂形式的条件输入119
　5.4　多尺度GAN121
5.4.1　LAPGAN121
5.4.2　Progressive GAN123
　5.5　属性GAN124
5.5.1　显式属性GAN124
5.5.2　隐式属性GAN125
　5.6　多判别器与生成器GAN133
5.6.1　多判别器GAN133
5.6.2　多生成器GAN134
　5.7　数据增强与仿真GAN135
5.7.1　数据增强GAN135
5.7.2　数据仿真GAN136
　5.8　DCGAN图像生成实践137
5.8.1　项目解读137
5.8.2　实验结果144
　5.9　StyleGAN人脸图像生成实践147
5.9.1　项目简介147
5.9.2　模型解读147
5.9.3　预训练模型的使用157
5.9.4　小结161
　参考文献161第6章　图像翻译163　6.1　图像翻译基础163
6.1.1　什么是图像翻译163
6.1.2　图像翻译任务的类型164
　6.2　有监督图像翻译模型166
6.2.1　Pix2Pix166
6.2.2　Pix2PixHD167
6.2.3　Vid2Vid168
　6.3　无监督图像翻译模型168
6.3.1　基于域迁移与域对齐的
无监督模型168
6.3.2　基于循环一致性约束的
无监督模型172
　6.4　图像翻译模型的关键改进175
6.4.1　多领域转换网络
StarGAN175
6.4.2　丰富图像翻译模型的
生成模式177
6.4.3　给模型添加监督信息179
　6.5　基于Pix2Pix模型的图像上色
实践180
6.5.1　数据处理180
6.5.2　模型代码解读181
6.5.3　模型训练与测试189
6.5.4　小结193
　参考文献194第7章　人脸图像编辑195　7.1　人脸表情编辑195
7.1.1　表情编辑问题195
7.1.2　关键点控制的表情编辑
模型196
　7.2　人脸年龄编辑197
7.2.1　年龄编辑问题197
7.2.2　基于潜在空间的条件对抗
自编码模型197
　7.3　人脸姿态编辑198
7.3.1　姿态编辑问题198
7.3.2　基于3DMM的姿态编辑
模型199
　7.4　人脸风格编辑200
7.4.1　风格编辑问题201
7.4.2　基于注意力机制的风格化
模型201
　7.5　人脸妆造编辑203
7.5.1　妆造编辑问题204
7.5.2　基于GAN的妆造迁移
算法204
　7.6　人脸换脸编辑206
7.6.1　身份编辑问题206
7.6.2　基于编解码器的Deepfakes
换脸算法206
　7.7　通用的人脸属性编辑207
7.7.1　StyleGAN人脸编辑的
关键问题207
7.7.2　潜在编码向量的求解208
　7.8　基于StyleGAN模型的人脸属性
编辑实践209
7.8.1　人脸重建209
7.8.2　人脸属性混合与插值219
7.8.3　人脸属性编辑221
7.8.4　小结228
　参考文献228第8章　图像质量增强230　8.1　图像降噪230
8.1.1　图像降噪问题230
8.1.2　基于GAN的图像去噪
框架231
　8.2　图像去模糊232
8.2.1　图像去模糊问题232
8.2.2　基于GAN的图像去模糊
框架233
　8.3　图像色调映射234
8.3.1　图像色调映射问题235
8.3.2　图像色调映射数据集236
8.3.3　基于GAN的图像色调
映射框架236
　8.4　图像超分辨239
8.4.1　图像超分辨问题240
8.4.2　基于GAN的图像超分辨
框架240
　8.5　图像修复243
8.5.1　图像修复基础243
8.5.2　基于GAN的图像修复
框架244
　8.6　基于SRGAN的人脸超分重建
实践247
8.6.1　项目解读247
8.6.2　模型训练254
8.6.3　模型测试258
8.6.4　小结260
　参考文献260第9章　三维图像与视频生成262　9.1　三维图像与视频生成应用262
9.1.1　三维图像生成应用262
9.1.2　视频生成与预测应用263
　9.2　三维图像生成框架264
9.2.1　一般三维图像生成
框架264
9.2.2　二维图到三维图的预测
框架265
　9.3　视频生成与预测框架266
9.3.1　基本的Video-GAN266
9.3.2　多阶段的MD-GAN267
9.3.3　内容动作分离的
MoCoGAN268
　参考文献270第10章　通用图像编辑271　10.1　图像深度编辑271
10.1.1　深度与景深271
10.1.2　图像景深编辑框架274
　10.2　图像融合276
10.2.1　图像融合问题276
10.2.2　基于GAN的图像融合
框架277
　10.3　交互式图像编辑278
10.3.1　交互式图像编辑
框架278
10.3.2　基于GAN的交互式
图像编辑框架279
　10.4　展望280
　参考文献280第11章　对抗攻击282　11.1　对抗攻击及防御算法282
11.1.1　对抗攻击概述282
11.1.2　常用攻击算法284
11.1.3　常用防御算法287
　11.2　基于GAN的对抗样本生成289
11.2.1　Perceptual-Sensitive
GAN289
11.2.2　Natural GAN292
11.2.3　AdvGAN294
　11.3　基于GAN的对抗攻击防御296
11.3.1　APEGAN296
11.3.2　DefenseGAN297
　11.4　对抗攻击工具包AdvBox297
11.4.1　对分类器的攻击297
11.4.2　高斯噪声对抗防御301
11.4.3　其他示例程序301
　参考文献305第12章　语音信号处理306　12.1　基于GAN的语音增强306
12.1.1　项目简介306
12.1.2　SEGAN模型307
12.1.3　SEGAN训练和
测试313
　12.2　基于GAN的语音转换315
12.2.1　项目简介315
12.2.2　WORLD语音合成
工具316
12.2.3　CycleGAN-VC2
模型317
12.2.4　CycleGAN-VC2
训练322
12.2.5　CycleGAN-VC2
测试325
　12.3　基于GAN的语音生成325
12.3.1　项目简介326
12.3.2　WaveGAN模型326
12.3.3　WaveGAN训练和
测试332
　参考文献333