Hadoop大数据平台构建与应用十三五规划 pdf下载

　　《Hadoop大数据平台构建与应用》为“十三五”职业教育国家规划教材，同时为云计算技术与应用专业校企“双元”合作开发的教材。
　　《Hadoop大数据平台构建与应用》以“高职院校学情分析”系统为项目原型，以任务驱动为主线，基于Hadoop大数据平台，讲解大数据平台的搭建与运维、大数据的采集与存储、大数据的处理、数据的分析、数据的可视化等完整的大数据应用案例，全面详细地讲述Hadoop、MapReduce、HDFS、Hive和Sqoop等技术的相关知识，并详细讨论了Mahout大数据分析中的常用算法——K-means聚类算法、Canopy聚类算法、欧氏距离算法、余弦距离算法、皮尔逊相关系数算法、TF-IDF加权算法等的使用及相关学情分析系统中算法的实现等。
　　《Hadoop大数据平台构建与应用》具有较强的实用性和可操作性，语言精练，通俗易懂，操作步骤描述详尽，并配有大量操作图例。
　　《Hadoop大数据平台构建与应用》配有微课视频、课程标准、授课用PPT、单元设计、案例源代码、习题库等丰富的数字化学习资源。
　　与《Hadoop大数据平台构建与应用》配套的数字课程“Hadoop大数据平台构建与应用”已在“智慧职教”网站（www.icve.com.cn）上线，学习者可以登录网站进行在线学习及资源下载，授课教师可以调用本课程构建符合自身教学特色的SPOC课程，详见“智慧职教”服务指南。教师也可发邮件至编辑邮箱获取相关资源。
　　《Hadoop大数据平台构建与应用》可作为高职高专院校大数据应用专业、软件技术专业、云计算技术与应用专业的大数据分析与软件开发等相关课程的教材，也可作为从事火数据分析、云计算应用等系统开发与分析技术人员的参考用书。

项目1 认识大数据，实现学情分析系统设计与环境搭建
学习目标
学习情境
任务1．1 设计学情分析系统
任务描述
任务目标
知识准备
任务实施
项目实训
任务1．2 构建学情分析系统开发环境
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结

项目2 Hadoop大数据平台的构建
学习目标
学习情境
任务2．1 搭建AmbariHadoop系统
任务描述
任务目标
知识准备
任务实施
项目实训
任务2．2 使用ApacheAmbari管理Hadoop集群
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结

项目3 就业岗位数据的采集和存储
学习目标
学习情境
任务3．1 使用网络爬虫采集岗位
招聘数据
任务描述
任务目标
知识准备
任务实施
项目实训
任务3．2 将采集的数据上传到HDFS
任务描述
任务目标
知识准备
任务实施
项目实训
任务3．3 使用Sqoop转换MySQL中的学生成绩数据到Hive中
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结

项目4 岗位数据的处理
学习目标
学习情境
任务4．1 使用HadoopMR对数据进行清洗
任务描述
任务目标
知识准备
任务实施
项目实训
任务4．2 使用命令行对Hive进行
数据查询和过滤
任务描述
任务目标
知识准备
任务实施
项目实训
任务4．3 使用JavaAPI对Hive
进行连接与操作
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
……

项目5 岗位和技能数据的分析
项目6 数据的可视化

参考文献

　　一、缘起
　　大数据技术在人们日常生活中已经得到了广泛的应用。信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。大数据正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力，成为新一代信息技术和服务业态。
　　ApacheHadoop是开源的大数据平台，基于普通服务器或者云平台构建分布式的大数据存储和基于MapReduce编程模型进行大数据处理。2017年3月发布的ApacheHadoop2.8，表明Hadoop经过了11年的发展，已经建立了成熟的生态圈，并成为大数据行业的重要技术标准之一。
　　ApacheHadoop项目包括以下4个主要模块。
　　①Hadoop Common：Hadoop的通用工具集。
　　②Hadoop Distributed File System（HDFSTM）：分布式文件系统。
　　③Hadoop YARN：任务调度和集群资源管理框架。
　　④Hadoop Map Reduce：基于YARN的并行处理编程模型。
　　此外与Hadoop相互关联的开源大数据项目还有Ambari、HBase、Hive、Mahout、Pig、Spark等。
　　二、特点
　　本书是云计算技术与应用专业校企“双元”合作开发的教材，以构建和开发“高职院校学生学情分析”系统为项目原型，以任务驱动为主线，指导学生基于Hadoop大数据平台，完成平台搭建与运维、大数据采集与存储、大数据处理、数据分析及数据可视化等完整的大数据应用案例。全书教学内容设计如下：
　　1.大数据平台构建与运维
　　通过构建数据存储HDFS、数据处理引擎MapReduce、数据获取Sqoop、数据处理Hive、数据挖掘分析Mahout及Spark等系列服务与Hadoop平台运维，为大数据分析与应用奠定基础。
　　2.招聘信息和学生成绩数据采集与存储
　　以典型招聘网站发布的岗位信息、学生在校各个管理平台成绩数据和近几年的学生就业统计数据为数据源，通过命令方式、开发程序、使用Sqoop等方式将数据分别存储到HDFS和Hive中为大数据分析做好充分准备。
　　3.招聘岗位数据处理
　　通过Hadoop平台服务以及采集处理的岗位招聘数据，对数据进行清洗、过滤和查询分析，完成云计算、大数据岗位数据的处理。