本书讲述了深度学习架构与实践，共分为两个部分，第1部分（即第1~6章）为基础理论，主要对深度学习的理论知识进行了详细的讲解；第2部分（即第7~12章）为应用实践，以具体的实际案例为场景，通过理论和实践相结合的讲解方式使读者能够对深度学习技术有更好的理解。本书可以为读者提供一条轻松、快速入门深度学习的路径，有侧重地阐明深度学习的经典知识和核心要点，从架构和实践两个方面，让读者对深度学习的系统架构和若干领域的应用实践有清晰和深入的掌握。
本书适合计算机软件相关专业的高年级本科生或研究生，以及所有想要学习深度学习或从事计算机视觉算法开发的读者阅读。

目录

前言
绪论1
第1章 深度学习的架构8
11如何区分人工智能、机器学习、深度学习8
111人工智能：从概念提出到走向繁荣8
112机器学习：一种实现人工智能的方法9
113深度学习：一种实现机器学习的技术9
114人工智能、机器学习和深度学习的关系9
12深度学习的发展历史及研究现状10
121深度学习的发展历史10
122深度学习的研究现状11
13深度学习的基本内容及理论基础13
131深度学习的基本内容13
132深度学习的理论基础15
14深度学习的发展趋势与未来15
141深度学习的发展趋势15
142深度学习的未来16
第2章 深度学习相关数学基础17
21线性代数17
211标量、向量、矩阵和张量17
212矩阵和向量相乘18
213单位矩阵和逆矩阵19
214线性相关和生成子空间19
215范数21
216特殊类型的矩阵和向量22
217特征分解23
218奇异值分解24
219Moore-Penrose伪逆25
2110迹运算25
2111行列式26
2112主成分分析26
22概率论与信息论29
221随机试验、频率与概率、随机变量29
222随机变量的分布情况30
223二维随机变量31
224期望、方差、协方差、相关系数33
225常用的概率分布34
226常用函数的有用性质37
227连续型变量的技术细节39
228信息论40
229结构化概率模型41
23拟合、梯度下降与传播43
231过拟合和欠拟合43
232随机梯度下降44
233正向传播与反向传播47
第3章 神经网络的架构48
31神经网络与神经元48
32深度神经网络的概念与结构49
321深度神经网络的概念49
322深度神经网络的结构49
33深度神经网络的分类50
331前馈深度网络50
332反馈深度网络51
333双向深度网络51
34自动编码器与玻尔兹曼机51
341自动编码器51
342玻尔兹曼机52
第4章 卷积神经网络53
41卷积神经网络的概念53
42卷积神经网络的基本结构54
421卷积层55
422池化层56
423全连接层56
43非线性层与激活函数57
431Sigmoid激活函数57
432Tanh函数59
433Relu函数60
44感受野与权值共享61
441局部感受野61
442权值共享61
45卷积神经网络与反卷积神经网络62
451卷积神经网络及其特点62
452反卷积神经网络及其特点63
46卷积神经网络的训练63

第5章 循环神经网络64
51RNN的概念64
52RNN的结构64
53RNN的训练65
531反向传播算法的原理65
532反向传播算法的步骤65
54RNN的实现71
541梯度爆炸与梯度消失71
542基于RNN的语言模型例子71
543语言模型训练过程73
55RNN的发展74
551双向循环神经网络74
552长短时记忆结构75
第6章 生成对抗网络7761GAN的概念77
611对抗思想与GAN77
612最大似然估计及最优化问题79
613GAN的训练过程81
62GAN的原理82
621生成器82
622判别器83
63GAN的应用84
64GAN的发展85
641GAN的优缺点85
642GAN的未来发展方向86
第7章 Python相关基础8771Python程序结构87
711循环结构87
712分支结构89
72NumPy操作90
721NumPy的主要特点91
722ndarray91
723NumPy-数据类型94
724NumPy-数组属性94
725NumPy-数组创建例程96
726NumPy-切片和索引98
727NumPy-字符串函数99
728NumPy-算数函数100
729NumPy-算数运算100
7210NumPy-统计函数101
7211NumPy-排序、搜索和计数函数102
7212NumPy-字节交换103
7213NumPy-副本和视图103
7214NumPy-矩阵库104
7215NumPy-线性代数105
73函数105
731Python中函数的应用105
732Python函数的定义107
733Python函数的调用108
734为函数提供说明文档109
74第三方资源110
第8章 TensorFlow、Theano、Caffe的框架与安装113
81TensorFlow的框架与安装113
811TensorFlow的简介113
812TensorFlow的架构113
813TensorFlow的特点114
814TensorFlow的安装114
82Theano的框架与安装118
821Theano的简介118
822Theano的安装119
83Caffe的架构与安装121
831Caffe的简介121
832Caffe的安装122
第9章 TensorFlow、Theano、Caffe的原理及应用124
91TensorFlow的原理及应用124
911TensorFlow的工作原理124
912TensorFlow的简单应用126
913TensorFlow的复杂应用129
92Theano的基本语法及应用145
921Theano的基本语法145
922Theano在Windows下的常用实例149
923用Theano来编写一个简单的神经网络154
93Caffe的结构、写法及应用157
931Caffe的结构157
932Caffe的写法157
933Caffe的训练与测试167
第10章 手写数字识别实例177
101字符识别的意义177
102字符识别的设计与实现177
1021实验简介177
1022实验环境搭建178
103单层神经网络搭建178
1031网络搭建过程178
1032梯度下降180
104多层神经网络搭建183
1041Sigmoid激活函数184
1042Relu激活函数184
1043衰减学习率187
1044添加dropout解决过拟合现象188
105卷积神经网络190
第11章 自动生成图像描述实例195
111自动生成图像描述的目标195
112自动生成图像描述的设计198
113语言生成模型201
114自动生成图像描述的实现203
115实验结果及分析221
第12章 唇语识别实例225
121唇语识别技术的目标225
122特征提取225
1221CNN的唇部视觉特征提取225
1222RNN的时序特征提取226
1223特征分类算法SVM、KNN、Softmax228
123唇语识别模型网络架构230
1231抽取视频帧算法与视频唇部区域定位230
1232图像特征提取网络架构233
1233基于注意力机制的时间特征提取架构234
1234唇语识别模型与整体识别流程235
124实验结果及分析239
1241数据集与预处理239
1242实验结果239
1243可视化分析242
参考文献246

随着谷歌的AlphaGo、IBM的Watson和百度的Apollo等人工智能产品的相继问世，人工智能成为大家热烈讨论的焦点话题。深度学习作为人工智能的核心技术之一，在学术界与工业界的积极推动之下，在计算机视觉、语音识别和自然语言处理等诸多领域得到了广泛的应用。
本书共分为两个部分。第一部分为1~6章，为基础理论，主要对深度学习的理论知识进行了详细的讲解，包括深度学习的发展历史以及研究现状、深度学习常用的相关数学基础，同时还对神经网络的架构、卷积神经网络、循环神经网络、生成对抗网络的理论基础进行了详细的讲解。第二部分为7~12章，为应用实践，主要是对深度学习中常用的Python库、深度学习框架进行了讲解，同时还对手写数字识别实例、自动生成图像描述实例、唇语识别实例进行了具体的代码实现。本书主要是以具体的实际案例为背景，通过理论和实践相结合的方式力求使读者能够对深度学习技术有更好的理解。
本书最大的特点是通过实际案例，深入浅出地对深度学习技术进行了详细的讲解，同时还结合了Caffe和TensorFlow的代码来对各种经典的神经网络模型进行了具体实现，读者可以通过运行各个应用案例的程序代码和实验数据，检验其演示效果。
为了能够完全理解并掌握本书的内容，读者所需具备的背景知识和基本能力包括：了解编程、能够读写代码。由于本书的代码示例、第三方库、包都是基于Python语言的，所以本书主要适用于有一定Python语言基础的读者。除了编程背景，懂得相关数学、统计的知识将有助于掌握本书的内容。相关的数学知识包括大学本科水平的微积分学（如求导）、线性代数知识矩阵符号的意义、矩阵相乘、求逆矩阵。这些知识主要是帮助读者理解一些算法中的求导部分，很多情况下就是一个简单函数的求导或基本的矩阵操作。能够理解概念层面上的数学计算将有助于对算法的理解。明白推导各步的由来有助于理解算法的强项和弱项，也帮助读者在面对具体的问题时，决定选择使用哪个方法。总而言之，本书适用于具有一定高等数学基础的理工科本科生或研究生，以及所有想要学习深度学习的读者和想要从事计算机视觉算法开发的技术人员。
本书由鲁远耀主笔编写，同时姜海洋、史鑫、温静、杨林今尧、李可心、徐征、栗冬杰、肖琦、李宏波、何杉参与了本书的整理工作。
策划编辑江婧婧为本书的顺利出版做出了重要贡献，在此表示深深的感谢。
最后，我们要感谢从事深度学习相关工作的专家、学者以及研究人员和工程师，本书的完成离不开他们的研究工作。同时，我们还要感谢在图书或网站上公开有用信息的各位同仁。
由于我们的水平有限，本书在内容取材和结构编排上难免有不妥之处，望读者不吝赐教，提出宝贵的批评和建议，我们将不胜感激。

编者2021年3月