大模型技术30讲 pdf下载

适读人群 ：无论你是机器学习初学者还是经验丰富的从业者，这本书都能帮助你掌握更多新技术并跟上这个变化莫测的领域的脚步。

大佬作者：本书由GitHub项目LLMs-from-scratch（star数40.2k）作者、大模型独角兽公司Lightning AI工程师倾力打造；

行业大咖推荐：本书获得了多位行业大咖的推荐，包括Deep (Learning) Focus网站作者Cameron R. Wolfe，AI Engineering一书作者、Claypot AI联合创始人Chip Huyen，维基媒体基金会机器学习主管Chris Albon，How AI Works一书作者Ronald T. Kneusel等；

一问一答式风格：书中采用一问一答式风格，探讨了当今人工智能领域中最重要的30个问题，让读者能够更轻松入门大模型、更透彻解决制作大模型中所遇见的问题和瓶颈；

配套资源丰富：60道练习及其答案+部分源代码。

“塞巴斯蒂安擅长将复杂的人工智能主题简化为易于理解的实用要点。本书是AI从业者不可多得的优秀资源，适合各个水平的读者阅读。”

——Cameron R. Wolfe，Deep (Learning) Focus网站作者

“塞巴斯蒂安以其深厚的学术背景、敏捷的工程能力和将复杂概念通俗易懂化的能力而著称。他不仅能够深入探讨理论话题，还能通过实验验证新想法，并用简单易懂的语言向你解释。无论你刚刚开始学习，还是希望进一步提升，他都是你值得信赖的向导。”

——Chip Huyen，AI Engineering作者，Claypot AI联合创始人

“在机器学习教育领域，很难找到比塞巴斯蒂安更好的导师。他可以说是当前这个领域最出色的机器学习教育家。在本书中，塞巴斯蒂安不仅全面传授了他深厚的知识，还分享了他作为专家所特有的热忱和探究精神。”

——Chris Albon，维基媒体基金会机器学习主管

“本书是你全面了解关键AI主题的理想选择，涵盖了大多数入门课程之外的重要内容……如果你已经通过深度神经网络步入了AI领域，这本书无疑是解锁更多专业技能、获取必需专业知识的钥匙。”

——Ronald T. Kneusel，How AI Works作者

第一部分 神经网络与深度学习
第1章 嵌入、潜空间和表征2
1．1 嵌入2
1．2 潜空间4
1．3 表征4
1．4 练习5
1．5 参考文献5
第2章 自监督学习6
2．1 自监督学习与迁移学习6
2．2 使用无标签数据8
2．3 自预测与对比自监督学习8
2．4 练习10
2．5 参考文献10
第3章 小样本学习12
3．1 数据集与术语12
3．2 练习14
第4章 彩票假设15
4．1 彩票假设的训练流程15
4．2 实际意义与局限性16
4．3 练习17
4．4 参考文献17
第5章 利用数据来减少过拟合现象18
5．1 常用方法18
5．1．1 采集更多数据18
5．1．2 数据增强19
5．1．3 预训练20
5．2 其他方法20
5．3 练习21
5．4 参考文献21
第6章 通过改进模型减少过拟合现象23
6．1 常用方法23
6．1．1 正则化23
6．1．2 选择更小的模型25
6．1．3 集成方法26
6．2 其他方法27
6．3 选择正则化技术28
6．4 练习28
6．5 参考文献28
第7章 多GPU训练模式30
7．1 训练模式30
7．1．1 模型并行30
7．1．2 数据并行31
7．1．3 张量并行31
7．1．4 流水线并行32
7．1．5 序列并行33
7．2 建议34
7．3 练习34
7．4 参考文献34
第8章 Transformer架构的成功36
8．1 注意力机制36
8．2 通过自监督学习进行预训练37
8．3 大规模参数38
8．4 轻松并行化38
8．5 练习39
8．6 参考文献39
第9章 生成式AI模型40
9．1 生成式模型与判别式模型40
9．2 深度生成式模型的类型41
9．2．1 能量模型41
9．2．2 变分自编码器42
9．2．3 生成对抗网络43
9．2．4 流模型43
9．2．5 自回归模型44
9．2．6 扩散模型45
9．2．7 一致性模型46
9．3 建议47
9．4 练习47
9．5 参考文献47
第10章 随机性的由来48
10．1 模型权重初始化48
10．2 数据集采样与重排49
10．3 非确定性算法49
10．4 不同运行时的算法50
10．5 硬件与驱动程序51
10．6 随机性与生成式AI51
10．7 练习53
10．8 参考文献53
第二部分 计算机视觉
第11章 计算参数量56
11．1 如何计算参数量56
11．1．1 卷积层57
11．1．2 全连接层58
11．2 实际应用59
11．3 练习60
第12章 全连接层和卷积层61
12．1 当卷积核与输入大小相同时62
12．2 当卷积核大小为1时63
12．3 建议63
12．4 练习63
第13章 ViT架构所需的大型训练集64
13．1 CNN中的归纳偏置64
13．2 ViT可以比CNN表现得更好67
13．3 ViT中的归纳偏置67
13．4 建议68
13．5 练习69
13．6 参考文献69
第三部分 自然语言处理
第14章 分布假设72
14．1 Word2vec、BERT和GPT73
14．2 假设成立吗74
14．3 练习75
14．4 参考文献75
第15章 文本数据增强76
15．1 同义词替换76
15．2 词语删除77
15．3 词语位置交换77
15．4 句子乱序77
15．5 噪声注入78
15．6 回译78
15．7 合成数据生成79
15．8 建议79
15．9 练习80
15．10 参考文献80
第16章 自注意力81
16．1 RNN中的注意力81
16．2 自注意力机制83
16．3 练习84
16．4 参考文献84
第17章 编码器和解码器风格的
Transformer架构85
17．1 原始的Transformer85
17．1．1 编码器87
17．1．2 解码器88
17．2 编码器 解码器混合模型89
17．3 专业术语89
17．4 当代Transformer模型90
17．5 练习91
17．6 参考文献91
第18章 使用和微调预训练
Transformer92
18．1 使用Transformer执行分类任务92
18．2 上下文学习、索引和提示词调优94
18．3 参数高效的微调方法97
18．4 基于人类反馈的强化学习102
18．5 适配预训练语言模型102
18．6 练习103
18．7 参考文献103
第19章 评测生成式大模型104
19．1 大模型的评测指标104
19．1．1 困惑度105
19．1．2 BLEU106
19．1．3 ROUGE107
19．1．4 BERTScore109
19．2 替代指标110
19．3 练习110
19．4 参考文献110
第四部分 生产与部署
第20章 无状态训练与有状态训练114
20．1 无状态（重）训练114
20．2 有状态训练115
20．3 练习115
第21章 以数据为中心的人工智能117
21．1 以数据为中心的人工智能与以模型
为中心的人工智能117
21．2 建议119
21．3 练习119
21．4 参考文献120
第22章 加速推理121
22．1 并行化121
22．2 向量化122
22．3 循环分块123
22．4 算子融合123
22．5 量化124
22．6 练习125
22．7 参考文献125
第23章 数据分布偏移126
23．1 协变量偏移126
23．2 标签偏移127
23．3 概念偏移128
23．4 领域偏移128
23．5 数据分布偏移的类型129
23．6 练习130
23．7 参考文献130
第五部分 预测性能与模型评测
第24章 泊松回归与序回归132
第25章 置信区间134
25．1 定义置信区间134
25．2 方法136
25．2．1 方法1：正态近似区间136
25．2．2 方法2：使用自助法构建
训练集137
25．2．3 方法3：使用自助抽样法
构建测试集预测结果139
25．2．4 方法4：使用不同的随机
种子重新训练模型140
25．3 练习141
25．4 参考文献141
第26章 置信区间与共形预测142
26．1 置信区间和预测区间142
26．2 预测区间与共形预测143
26．3 预测区域、预测区间与预测集合143
26．4 计算共形预测143
26．5 共形预测示例145
26．6 共形预测的优点146
26．7 建议146
26．8 练习146
26．9 参考文献147
第27章 合适的模型度量148
27．1 标准148
27．2 均方误差149
27．3 交叉熵损失150
27．4 练习151
第28章 k折交叉验证中的k152
28．1 选择k值时的权衡考量153
28．2 确定适当的k值154
28．3 练习154
28．4 参考文献155
第29章 训练集和测试集的不一致性156
第30章 有限的有标签数据158
30．1 利用有限的有标签数据提高模型
性能158
30．1．1 标注更多数据158
30．1．2 自助抽样数据158
30．1．3 迁移学习159
30．1．4 自监督学习159
30．1．5 主动学习160
30．1．6 小样本学习160
30．1．7 元学习161
30．1．8 弱监督学习161
30．1．9 半监督学习162
30．1．10 自训练163
30．1．11 多任务学习163
30．1．12 多模态学习164
30．1．13 归纳偏置165
30．2 建议165
30．3 练习167
30．4 参考文献167
后记168
附录 练习答案169