多模态深度学习技术基础 pdf下载

●第1章 绪论
1.1 多模态信息处理的概念
1.2 多模态信息处理的难点
1.3 使用深度学习技术的动机
1.4 多模态信息处理的基础技术
1.4.1 表示技术
1.4.2 对齐技术
1.4.3 融合技术
1.4.4 转换技术
1.5 多模态深度学习技术的发展历史
1.6 小结
1.7 习题
第2章 多模态任务
2.1 图文跨模态检索
2.1.1 数据集
2.1.2 评测指标
2.2 图像描述
2.2.1 数据集
2.2.2 评测指标
2.3 视觉问答
2.3.1 数据集
2.3.2 评测指标
2.4 文本生成图像
2.4.1 数据集
2.4.2 评测指标
2.5 指称表达
2.5.1 数据集
2.5.2 评测指标
2.6 小结
2.7 习题
第3章 文本表示
3.1 基于词嵌入的静态词表示
3.1.1 Word2vec
3.1.2 GloVe
3.2 基于循环神经网络的动态词表示
3.2.1 循环神经网络基础
3.2.2 现代循环神经网络
3.2.3 动态词表示和整体表示
3.3 基于注意力的预训练语言模型表示
3.3.1 自注意力
3.3.2 transformer编码器
3.3.3 BERT
3.3.4 BERT词表示和整体表示
3.4 小结
3.5 习题
第4章 图像表示
4.1 基于卷积神经网络的整体表示和网格表示
4.1.1 卷积神经网络基础
4.1.2 现代卷积神经网络
4.1.3 整体表示和网格表示
4.2 基于目标检测模型的区域表示
4.2.1 基于深度学习的目标检测基础
4.2.2 区域表示
4.3 基于视觉transformer的整体表示和块表示
4.3.1 使用自注意力代替卷积
4.3.2 视觉transformer
4.3.3 整体表示和块表示
4.4 基于自编码器的压缩表示
4.4.1 量化自编码器：VQ-VAE
4.4.2 量化生成对抗网络：VQGAN
4.4.3 变分生成对抗网络：KLGAN
4.4.4 压缩表示
4.5 小结
4.6 习题
第5章 多模态表示
5.1 共享表示
5.1.1 多模态深度自编码器
5.1.2 多模态深度生成模型
5.2 对应表示
5.2.1 基于重构损失的方法
5.2.2 基于排序损失的方法
5.2.3 基于对抗损失的方法
5.3 实战案例：基于对应表示的跨模态检索
5.3.1 跨模态检索技术简介
5.3.2 模型训练流程
5.3.3 读取数据
5.3.4 定义模型
5.3.5 定义损失函数
5.3.6 选择优化方法
5.3.7 评估指标
5.3.8 训练模型
5.4 小结
5.5 习题
第6章 多模态对齐

●
● 6.1 基于注意力的方法
●
● ……