数据应用工程：方法论与实践 pdf下载

基本信息

• 商品名称：数据应用工程：方法论与实践
• 作者：钟大伟//高铎//王鹏//宋超|责编:韩蕊//李艺
• 定价：129
• 出版社：机械工业
• 书号：9787111704096

其他参考信息（以实物为准）

• 出版时间：2022-06-01
• 印刷时间：2022-06-01
• 版次：1
• 印次：1
• 开本：16开
• 包装：平装
• 页数：412

编辑推荐语

（1）作者经验丰富：4位作者均是有10年以上的数据相关工作经验的专家，在大数据技术、组织能力建设、业务方案设计方面积累了丰富的经验。 （2）理论实践结合：为企业的数据能力建设、数据技术体系建设、数据的工程化应用提供了方法论和案例。

内容提要

内容简介<br>这是一本讲解组织数据能力建设与数据应用工程化的著作，它旨在为企业应用和管理数据提供组织建设、技术体系和行业解决方案方面的理论指导和实践经验。本书是几位作者在数据领域十几年工作经验的总结，得到了业界10余位专家的一致好评。无论是像互联网行业的数据原生类企业，还是正在数字化转型的传统企业，本书将为他们大规模、工程化地发挥数据的价值提供有意的参考。<br>本书的内容大致分为如下四个方面：<br>（1）行业分析<br>从宏观角度阐述了数字化变革带来的问题和不确定性，并引出了解决这些问题需要掌握的理论和方法。<br>（2）理论方法<br>一方面，详细讲解了企业和组织的技术能力建设发方法、发展规律以及成熟度评估，帮助企业打下应用数据的坚实基础；一方面，详细介绍了数据应用成熟度模型的评估、运用和设计，以及数据工程的过程和方法。<br>（3）知识体系<br>详细讲解了数据治理与管理的方法，以及整个大数据体系的技术与架构。<br>（4）实践案例<br>通过4个综合案例分别讲解了数据工程与治理、业务数据化以及数据的工程化应用，既有企业级别的数据管理案例，还有业务级别的营销案例，不仅有To B场景，还有To G场景。

作者简介

作者简介<br>钟大伟<br> 博士， 大数据专家，拥有15年技术开发和管理经验，一直从事数据处理、大数据研发和数据治理相关的工作。从地图数据处理到大数据处理，带领过多个数据研发团队、数据分析团队、数据治理团队，拥有丰富的数据工程经验。掌握数据生产管理方法，熟悉数据产品设计，对数据治理理论有深入全面的研究。在数据资产管理、生命周期管理、元数据管理、数据质量管理、数据安全合规管理等方面有丰富的实践经验。<br>高铎<br>某头部互联网公司 专家，拥有10余年数据营销、数据治理和数据应用领域工作经验。曾任职TalkingData、百度等公司，参与产品规划、渠道运营、技术管理、销售管理、解决方案等不同类型工作。多次在乌镇世界互联网大会、 移动互联网大会（GMIC）、中国 数码互动娱乐展览会（ChinaJoy）等大会作为演讲嘉宾；曾担任 数个年度营销奖项（如金网奖、金鼠标、艾菲奖、MMA、灵犀奖等）评审嘉宾；参与主办过4届中国年度移动应用风云榜。有5项 公开授予的LBS相关专利，发表EI索引AI相关论文4篇。<br>王鹏<br>人工智能和大数据领域的 专家，有超过15年的数据应用和实践经验。现在就职于百度，担任百度工业大数据&工业互联网产品负责人，曾就职于高德、四维图新、TalkingData，从事数据治理、数据产品相关工作。在大数据和人工智能领域有深厚的积淀，擅长通过数据挖掘业务机会，有丰富的数据治理和GIS领域数据经验，对于数据在营销、风控、工业、政府等多个领域应用经验丰富。<br>宋超<br>现就职于河南省自然资源电子政务中心，拥有10余年自然资源数据管理经验。在自然资源大数据应用领域积累深厚，精通自然资源管理业务、业务流程重组以及模型搭建技术。先后参与10余项省级以上科研项目研究，近年来获省部级、省级科技进步奖等多项奖励，发表核心科技期刊论文多篇。

目录

赞誉<br/>前言<br/> 部分　行业分析<br/>第1章数字化时代的变革与挑战 2<br/>1.1数字经济与生产变革 2<br/>1.1.1从农业经济到数字经济，从土地到数据 3<br/>1.1.2从规模化生产到个性化 生产，从IT到DT 8<br/>1.2数字化时代的变革动能 10<br/>1.2.1技术发展创造变革 11<br/>1.2.2“新基建”提速变革 14<br/>1.2.3商业竞争驱动变革 16<br/>1.2.4社会治理需要变革 20<br/>1.2.5政府政策引导变革 22<br/>1.3数字化变革中的不确定性与挑战 25<br/>1.3.1环境不确定性 25<br/>1.3.2数字化变革的挑战 30<br/>1.4本章小结 37<br/>第二部分　理论方法<br/>第2章技术变革与组织应用技术的规律 40<br/>2.1组织面对技术变革的三大挑战 40<br/>2.1.1新技术不断涌现，技术选择的挑战 41<br/>2.1.2创新风险很高，技术应用发展规划的挑战 45<br/>2.1.3发展常遇瓶颈，持续提升的挑战 47<br/>2.2事物发展的“ 性原理” 48<br/>2.2.1成熟度 48<br/>2.2.2成熟度模型 49<br/>2.2.3成熟度模型分类 51<br/>2.3技术创新规律与成熟度评估 56<br/>2.3.1技术发展生命周期规律 56<br/>2.3.2基于就绪水平的技术研发成熟度评估 57<br/>2.3.3考虑宣传期望的技术发展成熟度曲线 59<br/>2.4组织技术应用的发展规律与成熟度评估 61<br/>2.4.1指导早期信息化规划的诺兰成长阶段模型 62<br/>2.4.2诺兰模型在网络时代与智能时代的扩展 63<br/>2.5组织技术应用的能力建设规律与成熟度评估 65<br/>2.5.1从质量方法发展来的能力成熟度模型 65<br/>2.5.2能力成熟度模型的基础原理 68<br/>2.5.3软件领域广泛应用的能力成熟度模型 73<br/>2.5.4数据领域广泛应用的能力成熟度模型 75<br/>2.6本章小结 81<br/>第3章数据应用成熟度模型 82<br/>3.1模型开发背景 82<br/>3.2数据应用成熟度模型框架 86<br/>3.2.1模型框架说明 86<br/>3.2.2模型阶段与维度说明 87<br/>3.3数据应用成熟度模型评估 88<br/>3.3.1发展评估—数据应用维度 88<br/>3.3.2能力评估—数据工程维度 92<br/>3.3.3能力评估—数据治理维度 94<br/>3.3.4数据应用成熟度综合评估 96<br/>3.4数据应用成熟度模型的运用 101<br/>3.4.1模型运用流程 101<br/>3.4.2成熟度进阶建议和措施 102<br/>3.5数据工程过程 104<br/>3.5.1数据工程过程概述 105<br/>3.5.2数据理解过程 108<br/>3.5.3数据设计过程 111<br/>3.5.4数据处理过程—数据开发 114<br/>3.5.5数据处理过程—数据分析与数据科学建模 124<br/>3.5.6数据部署过程 129<br/>3.5.7数据运营过程 131<br/>3.5.8数据工程支持过程 133<br/>3.6数据治理过程?? 134<br/>3.6.1数据治理维度概述 134<br/>3.6.2宏观决策域 135<br/>3.6.3核心治理域—基本治理过程 137<br/>3.6.4核心治理域—综合治理过程 141<br/>3.7本章小结 143<br/>第三部分　知识体系<br/>第4章数据治理与管理 146<br/>4.1元数据管理 147<br/>4.1.1元数据概述 147<br/>4.1.2元数据定义 147<br/>4.1.3元数据分类 148<br/>4.1.4元数据管理详解 152<br/>4.2数据质量管理 154<br/>4.2.1数据质量概述 154<br/>4.2.2数据质量问题 156<br/>4.2.3数据质量测量与评价 159<br/>4.2.4数据质量问题的解决方法 170<br/>4.2.5如何做好数据质量管理 173<br/>4.3数据安全管理 175<br/>4.3.1数据安全的内容与特点 175<br/>4.3.2数据安全管理流程 179<br/>4.3.3数据合规要求的法规体系 181<br/>4.3.4数据安全的基础合规要求 183<br/>4.3.5个人信息处理的专门合规要求 186<br/>4.3.6数据安全管理的技术和方法 196<br/>4.4本章小结 207<br/>第5章大数据技术详解 208<br/>5.1大数据技术的方法和流行开源组件 208<br/>5.1.1大数据的4V特性与技术挑战 208<br/>5.1.2大数据技术的主要方法 209<br/>5.1.3大数据技术的流行开源组件 211<br/>5.2大数据系统架构 212<br/>5.2.1MPP数据库架构 212<br/>5.2.2Hadoop体系的架构 215<br/>5.2.3两种架构的对比 218<br/>5.2.4存储与计算分离及云化的未来架构 220<br/>5.3大数据存储技术 221<br/>5.3.1分布式文件存储系统 222<br/>5.3.2分布式数据库系统 225<br/>5.3.3分布式消息传递系统 232<br/>5.4大数据计算技术 234<br/>5.4.1离线批处理 234<br/>5.4.2实时流处理 236<br/>5.5大数据分析技术 239<br/>5.5.1OLAP技术介绍 239<br/>5.5.2实时OLAP系统的两种架构模型 240<br/>5.5.3OLAP相关技术分类 241<br/>5.5.4OLAP技术典型流行产品示例 242<br/>5.6数据科学技术 244<br/>5.6.1机器学习的基础概念 244<br/>5.6.2有监督机器学习算法 250<br/>5.6.3无监督机器学习算法 260<br/>5.7本章小结 264<br/>第四部分　实践案例<br/>第6章数据工程与治理案例——移动大数据的数据处理实践 266<br/>6.1统一的大数据工程与治理架构 266<br/>6.2数据仓库设计 268<br/>6.2.1数据模型架构设计 269<br/>6.2.2数据管理规范设计 270<br/>6.2.3数据规格设计 276<br/>6.3大数据日志收集技术 278<br/>6.3.1Web日志收集技术 278<br/>6.3.2移动端日志收集技术 280<br/>6.3.3埋点技术与埋点实现 283<br/>6.4数据处理设计 291<br/>6.4.1数据处理技术架构设计 291<br/>6.4.2数据处理流程设计 293<br/>6.5数据科学建模 295<br/>6.5.1数据科学建模工程流程示例 295<br/>6.5.2面向数据安全的Embedding数据特征提取方法与应用实例 300<br/>6.5.3基于移动设备行为数据的人口属性性别标签预测模型迭代实例 304<br/>6.6数据治理 309<br/>6.6.1数据治理平台的目标 309<br/>6.6.2数据治理平台的功能架构 310<br/>6.6.3元数据管理 314<br/>6.6.4血缘查询与告警 317<br/>6.6.5数据资产统计 318<br/>6.6.6其他功能模块示例 322<br/>6.7本章小结 325<br/>第7章数据工程过程案例——企业CDP建设中的数据工程实践 326<br/>7.1CDP平台的数据源梳理 328<br/>7.1.1数据源梳理过程的输入和输出 329<br/>7.1.2了解客户的业务及流程 330<br/>7.1.3了解客户的系统 330<br/>7.1.4了解客户的数据 331<br/>7.2CDP平台的标签体系及其口径梳理 333<br/>7.2.1标签体系及其口径梳理过程的输入和输出 333<br/>7.2.2标签体系内容说明 334<br/>7.2.3标签体系梳理 336<br/>7.2.4标签口径梳理 339<br/>7.3CDP平台的数据同步接口定义 341<br/>7.3.1数据同步接口定义过程的输入和输出 341<br/>7.3.2关于ETL和ELT 342<br/>7.3.3数据同步接口定义 342<br/>7.4CDP平台的数据模型设计 345<br/>7.4.1关于数据模型设计过程的输入与输出 345<br/>7.4.2数据模型设计 346<br/>7.4.3数据模型的应用 351<br/>7.5CDP平台的ETL设计 352<br/>7.5.1ETL设计过程的输入和输出 353<br/>7.5.2ETL设计 353<br/>7.6CDP平台的ETL开发 357<br/>7.6.1ETL开发过程的输入和输出 357<br/>7.6.2ETL开发流程 358<br/>7.7CDP平台的数据运维 359<br/>7.7.1运维过程的输入与输出 359<br/>7.7.2运维工作内容 360<br/>7.8本章小结 362<br/>第8章数据应用案例——大数据统计分析与个性化营销 363<br/>8.1统计级大数据应用——移动应用统计分析系统 363<br/>8.1.1业务背景 364<br/>8.1.2产品技术设计 367<br/>8.1.3具体实现示例与说明 379<br/>8.2个体级大数据应用——营销数据管理平台 382<br/>8.2.1产品背景 382<br/>8.2.2产品设计 382<br/>8.2.3具体实现示例 391<br/>8.3本章小结 392<br/>第9章数据应用案例——基于空间大数据的土地资源数字化精准监管 393<br/>9.1案例背景 393<br/>9.2数据处理过程 394<br/>9.3数字化的土地执法监管应用 398<br/>9.4本章小结 401<br/>附录<br/>附录A成熟度模型的构建方法 404<br/>附录B数据应用成熟度模型设计说明 408<br/>附录C数据合规要求的法规文件汇总 411