●部分 预处理入门
章 什么是预处理
1-1 数据
记录数据
数据类型
1-2 预处理的作用
机器学习
无监督学习和有监督学习
用于数据分析的3种预处理
1-3 预处理的流程
对数据结构的预处理
对数据内容的预处理
预处理的步骤
1-43 种编程语言
正确使用编程语言
1-5 包和库
用于数据分析的包和库
1-6 数据集
酒店预订记录
工厂产品记录
月度指标记录
文本数据集
1-7 读取数据
第2部分 对数据结构的预处理
第2章 数据提取
2-1 提取指定的列
Q 提取列
2-2 按指定条件提取
Q 按条件提取数据行
Q 间接利用索引提取数据行
2-3 不基于数据值的采样
Q 随机采样
2-4 基于聚合ID的采样
Q 按ID采样
第3章 数据聚合
3-1 计算数据条数和类型数
Q 计数和值计数
3-2 计算合计值
Q 合计值
3-3 计算值、代表值
Q 代表值
3-4 计算离散程度
Q 方差和标准差
3-5 计算众数
Q 众数
3-6 排序
排序函数
Q 为时序数据添加编号
Q 排序
第4章 数据连接
4-1 主表的连接
Q 主表的连接
4-2 切换按条件连接的表
Q 切换按条件连接的主表
4-3 连接历史数据
Q 获取往前数第n条记录的数据
Q 前n条记录的合计值
Q 前n条记录的平均值
Q 过去n天的合计值
4-4 交连接
Q 交连接处理
第5章 数据拆分
5-1 记录数据中模型验证数据的拆分
Q 交验证
5-2 时序数据中模型验证数据的拆分
Q 准备时序数据中的训练数据和验证数据
第6章 数据生成
6-1 通过欠采样调整不平衡数据
6-2 通过过采样调整不平衡数据
Q 过采样
第7章 数据扩展
7-1 转换为横向显示
Q 转换为横向显示
7-2 转换为稀疏矩阵
Q 稀疏矩阵
第3部分 对数据内容的预处理
第8章 数值型
8-1 转换为数值型
Q 各种数据类型的转换
8-2 通过对数化实现非线性变换
Q 对数化
8-3 通过分类化实现非线性变换
Q 数值型的分类化
8-4 归一化
Q 归一化
8-5 删除异常值
Q 根据标准差删除异
8-6 用主成分分析实现降维
Q 用主成分分析实现降维
8-7 数值填充
Q 删除缺失记录
Q 用常数填充
Q 均值填充
Q 用PMM实现多重插补
第9章 分类型
9-1 转换为分类型
Q 分类型的转换
9-2 哑变量化
Q 哑变量化
9-3 分类值的聚合
Q 分类值的聚合
9-4 分类值的组合
Q 分类值的组合
9-5 分类型的数值化
Q 分类型的数值化
9-6 分类型的填充
Q 用KNN填充
0章 日期时间型
10-1 转换为日期时间型、日期型
Q 日期时间型、日期型的转换
10-2 转换为年、月、日、时、分、秒、星期
Q 获取各日期时间元素
10-3 转换为日期时间差
Q 计算日期时间差
10-4 日期时间型的增减
Q 日期时间的增减处理
10-5 转换为季节
Q 转换为季节
10-6 转换为时间段
10-7 转换为工作日、休息日
Q 添加休息日标志
1章 字符型
11-1 通过形态分析进行分解
Q 提取名词和动词
11-2 转换为单词的集合数据
Q 创建词袋
11-3 用TF-IDF调整单词权重
Q 创建使用TF-IDF的词袋
2章 位置信息型
12-1 从日本坐标系到世界坐标系的转换以及从度、分、秒到度的转换
Q 从日本坐标系转换为世界坐标系
12-2 两点间距离、方向的计算
Q 计算距离
第4部分 预处理实战
3章 实战练习
13-1 聚合分析的预处理
Q 聚合分析的准备工作
13-2 用于推荐的预处理
Q 生成推荐矩阵
13-3 预测建模的预处理
Q 用于预测建模的预处理
结语
参考文献