大数据分析技术与应用实践 pdf下载

　　《大数据分析技术与应用实践/面向新工科专业建设计算机系列教材》首先从大数据技术概述出发，给出大数据领域的技术概貌及相关应用场景，从而使读者对大数据概念有清晰的认识；其次，《大数据分析技术与应用实践/面向新工科专业建设计算机系列教材》采取top-down模式，先从计算广告这一具有代表性的应用实践着手，阐明大数据技术是如何应用并发挥效用的；再次，依次介绍大数据采集与处理、大数据存储与查询、大数据计算与分析等关键技术；最后，将关键技术引申到两类重要的大数据应用技术：一类是Spark和机器学习应用，另一类是数据可视化应用。以此构建了一个大数据分析技术的基本闭环。
　　除了内容的闭环体系之外，《大数据分析技术与应用实践/面向新工科专业建设计算机系列教材》的另一大特色是将项目实践拆解融入各项关键技术中，从而实现理论与实践的有机融合，满足“新工科”建设的首要需求。
　　《大数据分析技术与应用实践/面向新工科专业建设计算机系列教材》可作为高等院校计算机类专业的大数据分析、应用方面的理论或实践课程的教材，也可供自学者及从事计算机应用、大数据开发等的工程技术人员参考。

　　王宇新，博士，大连理工大学计算机科学与技术学院副教授，主管教学副院长，主要从事并行与分布式计算、人工智能异构计算、大数据分析与应用等领域的研究和实践工作、作为教学副院长重点关注大数据、人工智能和区块链等新兴技术在传统计算机专业中的教学推广，组织计算机科学与技术专业两次以6年有效期的成绩通过工程教育专业认证，汁算机科学与技术专业获得辽宁省本科教育示范专业，入选全国首批国家本科专业建设点。
　　
　　齐恒，博士，大连理工大学计算机科学与技术学院副教授，博士生导师。主要从事未来网络体系及大数据汁算相关研究工作。承担并参与国家重点研发计划，国家自然科学基金重点项目、面上项强、青年基金及博士后特别资助等10余项科研项目。获得日本学术振兴会外国人特别研究员、辽宁省优秀科技工作者、ACM大连分会新展奖、首届“大连市青年科技之星”等荣誉称号。
　　
　　杨鑫，博士，大连理工大学计算机科学与技术学院教授，博士生导师。主要从事计算机图形学与视觉、大数据技术、智能机器人技术等领域的研究。主持军口863项目、国家自然科学基金重大支持汁划培育项目、面上项目等熏要国家项目，研究成果发表在NeurIPS、CVPR、IJCAI，13D、EGSR、ICME、IEEE Transactionson Multimedia等领域会议和期刊上，入选中国科协“青年人才托举工程”和国家“香江学者计划”。

第1章 大数据技术概述
1．1 大数据产品诞生
1．2 什么是大数据
1．3 大数据解决的问题场景
1．4 大数据与Google
习题1

第2章 计算广告介绍与课程应用实践
2．1 计算广告
2．1．1 互联网广告介绍
2．1．2 互联网广告效果评估
2．1．3 如何计算
2．1．4 计算广告系统
2．2 应用实践
2．2．1 应用实践数据
2．2．2 CTR预测
2．2．3 项目实践1：了解应用实践数据
2．2．4 项目实践2：实践环境搭建
习题2

第3章 大数据采集与处理
3．1 网络爬虫
3．1．1 网络爬虫介绍
3．1．2 构建一个网络爬虫的实践经验
3．1．3 HTTP介绍
3．1．4 网页解析与CSS选择器
3．1．5 项目实践3：抓取网页并提取标题和正文
3．2 ApacheKafka
3．2．1 系统架构
3．2．2 消息、主题和Schema
3．2．3 分区
3．2．4 生产者与消费者
3．2．5 代理
3．2．6 Kafka关键特性
3．2．7 项目实践4：通过Kafka进行数据处理
3．2．8 构建一个真实数据通道需要考虑的问题
3．3 ETL、ApacheFlume和其他框架
3．3．1 ETL
3．3．2 ApacheFlume
3．3．3 其他大数据采集处理框架
习题3
……

第4章 大数据存储与查询
第5章 大数据计算与分析
第6章 Spark和机器学习
第7章 数据可视化

　　为适应新一轮信息技术驱动的科技革命，培养新时代的工程人才，我国正积极推动“新工科”建设工作，各高校均在努力探索“新工科”建设模式与经验。在经历了“复旦共识”“天大行动”和“北京指南”三阶段后，2018年中华人民共和国教育部办公厅印发了《关于公布首批“新工科”研究与实践项目的通知》，公布了612个“新工科”建设项目，其中大数据类项目群属于核心内容之一。
　　大数据相关知识领域的实践性、交叉性非常强，在人才培养过程中，除了大类基础课程和计算机相关专业课程的授课之外，更侧重于在系统与应用研发，以及跨学科的交叉融合应用等方面。因此，如何将实践培育与理论教学进行有机融合，属于“新工科”大数据类项目建设的首要问题。针对这一问题，我们在课程体系改革、课程资源建设等方面做了很多尝试性的工作，并通过不断的经验积累及自我总结，形成一本从理论、技术到实践实现全方位覆盖的教材——《大数据分析技术与应用实践》。本书属于大连理工大学“新工科”系列精品教材项目的结晶，在大连理工大学计算机专业的“大数据分析技术”课程及相关实训课程中得到了应用。
　　本书共7章。
　　第1章大数据技术概述，介绍大数据技术的基本概念和应用场景。
　　第2章计算广告介绍与课程应用实践，介绍本课程的应用实践内容。
　　第3章大数据采集与处理，介绍网络爬虫和消息中间件的相关技术。
　　第4章大数据存储与查询，介绍分布式文件系统和分布式数据库。
　　第5章大数据计算与分析，介绍MapReduce原理和大数据交互式分析组件。
　　第6章Spark和机器学习，介绍Spark和机器学习理论，以及如何用Spark实现机器学习模型。
　　第7章数据可视化，介绍Python数据可视化组件Matplotlib。
　　通过本书的学习，读者能构建一个相对完整的大数据分析技术知识体系，并积累应用实践的经验；同时，也能从本书中体会到大连理工大学在“新工科”大数据类课程建设方面的努力。本书适合作为本科及大专院校中大数据类课程的教材及参考资料。