本站支持尊重有效期内的版权/著作权,所有的资源均来自于互联网网友分享或网盘资源,一旦发现资源涉及侵权,将立即删除。希望所有用户一同监督并反馈问题,如有侵权请联系站长或发送邮件到ebook666@outlook.com,本站将立马改正
本书全面系统地介绍了
大数据的测试技术与质量体
系建设。本书共11章,
~4章涵盖认识大数据,大
数据技术生态,数据仓库的
设计与构建,以及大数据项
目开发流程:第5~7章讲解
大数据测试方法、大数据测
试实践和数据质量管理;第
8~10章介绍大数据测试平
台实践、数据治理平台建设
,以及DataOps的理念与实
践; 1章提供大数据测试
学习路线。附录列出了大数
据技术经典面试题。
本书适合想要了解大数
据技术的读者,以及想要学
习和掌握大数据测试与大数
据开发的从业者。通过阅读
本书,测试工程师可以系统
地学 数据技术基础、大
数据开发和大数据测试等知
识:大数据开发工程师可以
借鉴大数据质量保障的方法
,拓宽数据工程实践的思路
:技术专家和技术管理者可
以了解大数据质量保障体系
、数据治理建设和DataOps
实践等内容。
第1章 认识大数据
1.1 大数据概述
1.2 大数据的发展
1.3 大数据的应用
1.3.1 互联网领域
1.3.2 物流领域
1.3.3 教育领域
1.3.4 金融领域
1.3.5 电信领域
1.4 本章小结
第2章 大数据技术生态
2.1 大数据技术生态总览
2.2 大数据采集技术
2.3 大数据存储技术
2.3.1 分布式文件系统:HDFS
2.3.2 海量数据列式存储:HBase
2.3.3 其他数据存储技术
2.4 大数据计算分析技术
2.4.1 批处理计算的基石:MapReduce
2.4.2 流计算的代表:Storm、Spark Streaming和Flink
2.4.3 OLAP引擎:Hive、Impala和Presto
2.5 大数据管理调度技术
2.5.1 分布式集群资源调度框架:YARN
2.5.2 容器集群管理系统:Kubernetes
2.5.3 大数据的“动物园管理员”:ZooKeeper
2.5.4 常用的工作流调度平台:Azkaban、Oozie和Airflow
2.6 大数据商业产品
2.7 本章小结
第3章 数据仓库的设计与构建
3.1 数据仓库概述
3.1.1 什么是数据仓库
3.1.2 数据仓库的发展过程
3.1.3 数据仓库与数据集市、数据湖、数据中台的区别
3.2 数据仓库设计
3.2.1 架构分层设计
3.2.2 数据模型设计
3.3 数据仓库构建
3.3.1 数据仓库的构建方法与评价标准
3.3.2 数据仓库实例
3.4 本章小结
第4章 大数据项目开发流程
4.1 大数据项目开发概览
4.2 数据的采集与存储
4.2.1 服务端日志采集
4.2.2 客户端日志采集
4.2.3 数据同步
4.2.4 大数据存储
4.3 大数据计算
4.4 大数据监控
4.4.1 数据监控