数据清洗黑马程序员

数据清洗是大数据预处理的关键环节。面对错综复杂的数据,传统的清洗“脏”数据工作单调且异常辛苦,如果能利用正确的工具和方法,可以让数据清洗工作变得事半功倍。本书讲解数据清洗的理论知识和实际应用,全书共8章: 章主要带领大家简单认识数据清洗;第2章主要讲解ETL技术相关的知识;第3章讲解Kettle工具的基本使用;第4章主要讲解数据清洗的步——数据抽取;第5章主要讲解数据清洗与检验;第6章主要讲解数据转换相关的知识;第7章主要讲解数据加载相关的知识;第8章利用前面章节所学的知识构建一个DVD租赁商店数据仓库,目的是实现定期从源数据库sakila中抽取增量数据,转换成符合DVD租赁业务的数据,后加载到DVD租赁商店数据仓库中,便于后续在线DVD租赁商店的决策者对数据进行分析得出商业决策。本书附有配套视频、源代码、习题、教学设计、教学课件等资源。同时,为了帮助初学者更好地学习本书中的内容,还提供了在线答疑,欢迎读者关注。 本书可作为高等院校本专科计算机、信息管理等相关专业的大数据课程教材,也可供相关技术人员参考,是一本适合广大计算机编程爱好者的读物。

章数据清洗概述1
1.1数据清洗的背景1
1.1.1数据质量概述1
1.1.2数据质量的评价指标2
1.1.3数据质量的问题分类3
1.2数据清洗的定义6
1.3数据清洗的原理6
1.4数据清洗的基本流程7
1.5数据清洗的策略8
1.6常见的数据清洗方法8
1.7本章小结9
1.8本章习题9
第2章初识ETL11
2.1基于ETL的数据清洗11
2.1.1ETL的概念11
2.1.2ETL的体系结构12
2.2ETL关键技术12
2.2.1数据的抽取12
2.2.2数据的清洗转换13
2.2.3数据的加载15
2.3ETL常见工具介绍16
2.4本章小结17
2.5本章习题17
第3章Kettle工具的基本使用19
3.1Kettle简介19
3.1.1Kettle概述19
3.1.2Kettle的设计原则203.2Kettle的下载安装21
3.3Kettle的基本概念23
3.3.1转换24
3.3.2作业28
3.4Kettle的基本功能32
3.4.1转换管理32
3.4.2作业管理42
3.4.3数据库连接48
3.5本章小结51
3.6本章习题52
目录数据清洗第4章数据抽取53
4.1抽取文本数据53
4.1.1TSV文件的抽取53
4.1.2CSV文件的抽取61
4.2抽取Web数据68
4.2.1HTML网页的数据抽取68
4.2.2XML文件的数据抽取75
4.2.3JSON文件的数据抽取84
4.3抽取数据库数据92
4.3.1抽取关系型数据库的数据92
4.3.2抽取非关系型数据库的数据98
4.4本章小结106
4.5本章习题106
第5章数据的清洗与检验108
5.1数据去重108
5.1.1完全去重108
5.1.2不完全去重113
5.2缺失值处理119
5.2.1缺失值清洗策略119
5.2.2去除缺失值120
5.2.3填充缺失值130
5.3异常值142
5.3.1出现异常值的原因142
5.3.2检测异常值142
5.3.3删除包含异常值的记录144
5.3.4修补异常值150
5.4数据检验160
5.4.1数据一致性处理160
5.4.2数据规范化处理169
5.5本章小结177
5.6本章习题177
第6章数据转换179
6.1多数据源的合并179
6.2不一致数据转换192
6.3数据粒度的转换203
6.4数据的商务规则计算239
6.5本章小结251
6.6本章习题251
第7章数据加载253
7.1数据的加载机制253
7.1.1全量加载253
7.1.2增量加载258
7.2数据的批量加载264
7.3本章小结271
7.4本章习题271
第8章综合案例——构建DVD租赁商店数据仓库273
8.1案例概述273
8.1.1案例背景介绍273
8.1.2数据仓库的架构模型273
8.1.3数据仓库效果预览274
8.2数据准备276
8.2.1数据库sakila的下载和安装276
8.2.2数据库sakila简介276
8.2.3数据表简介278
8.3案例实现283
8.3.1构建DVD租赁商店数据仓库283
8.3.2加载日期数据至日期维度表284
8.3.3加载时间数据至时间维度表294
8.3.4加载员工数据至员工维度表302
8.3.5加载用户数据至用户维度表310
8.3.6加载商店数据至商店维度表326
8.3.7加载演员数据至演员维度表335
8.3.8加载电影数据至电影维度表341
8.3.9加载租赁数据至租赁事实表366
8.3.10加载数据库sakila中的数据至数据仓库sakila_dw385
8.4本章小结394

江苏传智播客教育科技股份有限公司（简称传智播客）是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智播客旗下高端IT教育品牌。

数据清洗是数据挖掘与分析过程中不可缺少的环节，但因为数据类型极其复杂，传统的清洗脏数据工作单调乏味且异常辛苦。如果能使用正确的工具和方法，就可以让数据清洗工作事半功倍。本书讲述了大量的数据清洗的原理和方法，并介绍了真实的案例。让读者看了就懂，懂了就会做。
本书的读者可以零基础入门，不管会不会编程，都可以通过本书学会数据清洗。
每章开头都配有学习目标，每章末尾提供一套习题供读者练习，便于读者学习。
借助大量图示分析工作原理，降低学习难度，提升读者的学习兴趣。
本书采用理论 案例式的方式编排，几乎每个小节都配有动手案例，每个案例都清晰介绍了应用场景、实现步骤，让读者可以边学边练。
本书后一章讲解了具有真实场景的DVD租赁业务数据清洗项目的全过程，让读者迅速积累实际项目经验，为未来的工作奠定理论和实践基础。
本书配套了丰富的教学资源供广大师生使用，另外，作者团队还提供了贴心、专业的在线咨询服务，随时解决教师和学生在使用本教材、资源过程中遇到的问题。