[包邮现货] [套装书]实时流计算系统设计与实现+数据中台:让数据用起来|8067563pdf下载pdf下载

[包邮现货] [套装书]实时流计算系统设计与实现+数据中台:让数据用起来|8067563百度网盘pdf下载

作者:
简介:本篇主要提供[包邮现货] [套装书]实时流计算系统设计与实现+数据中台:让数据用起来|8067563pdf下载
出版社：
出版时间：
pdf下载价格：0.00￥

免费下载

前去下载

书籍下载

下载地址

内容介绍

 书名：  [套装书]实时流计算系统设计与实现+数据中台：让数据用起来（2册）|8067563
 图书定价： 168元
 图书作者： 周爽 付登坡 江敏 任寅姿 孙少忆
 出版社：  机械工业出版社
 出版日期：  2020/1/8 0:00:00
 ISBN号： 9782003102247
 开本： 16开
 页数： 618
 版次： 1-1
 作者简介



---------------------------数据中台：让数据用起来---------------------------


付登坡 江敏 任寅姿 孙少忆 等著：付登坡（花名：天湛）
资深大数据专家，数澜科技联合创始人&地产事业部总经理
有10余年?数据领域从业经验，擅长数据建模、海量数据产品架构设计与实现。原阿?巴巴集团?数据专家，曾在阿里集团负责消费者数据标签体系、DMP平台等大数据项?设计与实施。2015年以创始人身份组建阿?巴巴集团的“11维数据创新工作室”，探索数据创新与数据商业化。
2016年6?离职，联合创办数澜科技，在数澜科技先后负责技术部、咨询服务部、地产事业部。
江敏（花名：江敏）
资深大数据专家，数澜科技联合创始人&CTO
有10年大数据平台规划、数据安全交换使用、数据应用场景建设方面的实践经验。曾任职于阿里数据平台事业部、阿里云数据事业部，负责阿里数据能力及平台的行业客户赋能，ID-Mapping体系能力构建及服务化的核心参与者，并打造行业的数据共享交换，数据交易模式早期探索者。
数澜科技联合创始人，负责管理公司产品技术团队，为客户输出构建和经营数据中台的能力，基于数据中台建设的实践经验，带领团队打造一站式数据应用基础设施-数栖，并完成实施多家行业龙头客户基于数栖的数据中台建设。
任寅姿（花名：影姿）
资深数据产品专家，数澜科技创新事业部总经理
曾任阿里巴巴数据产品专家、数据创新梧桐工作室负责人等。对大数据资产设计、资产服务、资产应用在实践的基础上形成了一套完整的数据标签类目体系方法论；擅长对各种复杂业务场景进行需求拆解、数据抽象和数据应用建模，关注于采用大数据方法切实解决场景痛点提升业务效率。
孙少忆（花名：守正）
资深数字化转型咨询专家，数澜科技战略副总裁
20年企业信息化工作经验,积累信息化内部运营、解决方案销售及交付等领域实践经验。拥有MBCI、CISSP-ISSMP、CGEIT、COBIT5、ITILExpert、P3O等国际专业资质证书。曾任职华为ICT规划咨询部，面向企业、政府提供“以数据为核心，聚焦业务场景和价值”的流程信息化与数字化转型规划和落地咨询业务。
武凯（花名：行竹）
资深数据产品专家，数澜科技COO
有10余年数据产品经验，曾任阿里巴巴集团数据平台产品与运营部负责人，是营销、零售和医疗健康等领域数据应用的探索实践者，专注于企业大数据资产化及应用增值。
沈金（花名：铁平）
资深数据业务架构专家，数澜科技解决方案总监
10余年数据行业经验，擅长业务架构、数据架构、技术架构的规划和落地实施。曾在阿?巴巴担任DBA，后参与阿里数据中台建设，拥有用户识别、标签设计、动态数据组织多个发明专利。
2017年加入数澜科技，负责解决方案团队，推动数据中台在零售、地产、金融、集团等客户案例落地。
蔣珍波（花名：乐天）
大数据咨询专家，数澜科技高级咨询专家
15年信息化和大数据行业从业经验，具备广阔的知识面，丰富的咨询经验，擅长创造性地为客户提供解决方案，尤其擅长数据治理方面的咨询规划和产品设计，服务过数十家政府和大中型企业客户。
 内容简介



---------------------------实时流计算系统设计与实现---------------------------


全书分为11章。第1章介绍了实时流计算技术的产生背景、使用场景和通用架构。第2章通过实时流计算数据的采集，详细分析了Java高性能编程的理论基础。第3-6章通过从头构造一个分布式实时流计算框架，详细剖析了实时流计算中的几个核心概念和技术重点，并通过多个开源流计算平台的实现来验证这些核心概念和技术重点。第7章谈论了当实在做不到“实时”时，我们应该作出的备选方案。第8-10章阐述了构建一个完整实时流计算系统时，必要的周边辅助系统。第11章给出实时流计算应用案例。


---------------------------数据中台：让数据用起来---------------------------


内容简介
什么是数据中台？
什么样的企业需要建数据中台？
数据中台应该如何架构与设计？
建设数据中台的系统方法论是什么？
一个完整的数据中台有哪些组成部分？
如何从0到1实现一个数据中台？
数据中台应该如何运营？
数据中台的安全如何保障？
……
以上所有问题都能在本书中找到答案！

这是一部系统讲解数据中台建设、管理与运营的著作，旨在帮助企业将数据转化为生产力，顺利实现数字化转型。
本书由国内数据中台领域的领先企业数澜科技官方出品，几位联合创始人亲自执笔，7位作者都是资深的数据人，大部分作者来自原阿里巴巴数据中台团队。他们结合过去帮助百余家各行业头部企业建设数据中台的经验，系统总结了一套可落地的数据中台建设方法论。本书得到了包括阿里巴巴集团联合创始人在内的多位行业专家的高度评价和推荐。
全书一共11章，从建设、管理、运营、安全等维度全方位地讲解了数据中台。
第1~2章全面介绍了数据中台产生的背景、发展阶段、企业应该具备的3个认知，以及什么是数据中台、数据中台的4个核心能力、数据中台的业务价值与技术价值等；
第3~4章详细讲解了数据中台的架构设计、建设方法论，以及企业建设数据中台的成熟度评估和应用场景分析；
第5~9章深入地讲解了数据汇聚与联通、数据开发、数据体系建设、数据资产管理、数据服务体系建设等数据中台的核心模块，以及如何从0到1实现一个数据中台；
第10~11章详细地讲解了数据中台的管理、运营和安全保障。
 目录




---------------------------实时流计算系统设计与实现---------------------------


前言
第1章　实时流计算 …… 1
1.1　大数据时代的新挑战：实时流计算 …… 1
1.2　实时流计算使用场景 …… 2
1.3　实时流数据的特点 …… 4
1.4　实时流计算系统架构 …… 6
1.4.1　数据采集 …… 6
1.4.2　数据传输 …… 7
1.4.3　数据处理 …… 8
1.4.4　数据存储 …… 8
1.4.5　数据展示 …… 9
1.5　本章小结 …… 10
第2章　数据采集 …… 11
2.1　设计数据采集的接口 …… 11
2.2　使用Spring Boot实现数据采集服务器 …… 12
2.3　BIO与NIO …… 14
2.3.1　BIO连接器 …… 14
2.3.2　NIO连接器 …… 17
2.4　NIO和异步 …… 19
2.4.1　 CPU密集型任务 …… 19
2.4.2　I/O密集型任务 …… 20
2.4.3　I/O和CPU都密集型任务 …… 21
2.4.4　纤程 …… 22
2.4.5　Actor …… 24
2.4.6　NIO配合异步编程 …… 25
2.5　 使用Netty实现数据采集服务器 …… 26
2.5.1　使用Netty实现数据采集API …… 27
2.5.2　异步编程 …… 29
2.5.3　流量控制和反向压力 …… 31
2.5.4　实现反向压力 …… 32
2.5.5　异步的不足之处 …… 36
2.6　本章小结 …… 36
第3章　实现单节点流计算应用 …… 38
3.1　自己动手写实时流计算框架 …… 38
3.1.1　用DAG描述流计算过程 …… 38
3.1.2　造一个流计算框架的轮子 …… 39
3.1.3　实现特征提取DAG节点 …… 42
3.1.4　实现特征提取DAG拓扑 …… 45
3.2　CompletableFuture方法与原理 …… 46
3.2.1　常用的CompletableFuture类方法 …… 47
3.2.2　CompletableFuture的工作原理 …… 49
3.3　采用CompletableFuture实现单节点流处理 …… 51
3.3.1　基于CompletableFuture实现流计算应用 …… 51
3.3.2　反向压力 …… 53
3.3.3　死锁 …… 54
3.3.4　再论流与异步的关系 …… 55
3.4　流计算应用的性能调优 …… 56
3.4.1　优化机制 …… 56
3.4.2　优化工具 …… 56
3.4.3　线程状态 …… 62
3.4.4　优化方向 …… 66
3.5　本章小结 …… 67
第4章　数据处理 …… 68
4.1　流计算到底在计算什么 …… 68
4.2　流数据操作 …… 70
4.2.1　过滤 …… 70
4.2.2　映射 …… 70
4.2.3　展开映射 …… 71
4.2.4　聚合 …… 72
4.2.5　关联 …… 73
4.2.6　分组 …… 75
4.2.7　遍历 …… 75
4.3　时间维度聚合特征计算 …… 76
4.4　关联图谱特征计算 …… 78
4.4.1　一度关联 …… 79
4.4.2　二度关联 …… 81
4.5　事件序列分析 …… 85
4.5.1　CEP编程模式 …… 86
4.5.2　Flink CEP实例 …… 87
4.6　模型学习和预测 …… 89
4.6.1　统计学习模型 …… 90
4.6.2　P-value检验 …… 90
4.6.3　机器学习模型 …… 91
4.7　本章小结 …… 93
第5章　实时流计算的状态管理 …… 94
5.1　流的状态 …… 94
5.1.1　流数据状态 …… 96
5.1.2　流信息状态 …… 97
5.2　采用Redis实现流信息状态管理 …… 98
5.2.1　时间维度聚合特征计算 …… 98
5.2.2　一度关联特征计算 …… 99
5.3　采用Apache Ignite实现流信息状态管理 …… 100
5.3.1　时间维度聚合分析 …… 101
5.3.2　一度关联特征计算 …… 103
5.4　扩展为集群 …… 105
5.4.1　基于Redis的状态集群 …… 106
5.4.2　局部性原理 …… 106
5.4.3　批次请求处理 …… 108
5.4.4　基于Apache Ignite的状态集群 …… 109
5.4.5　基于分布式文件系统的状态管理集群 …… 109
5.5　本章小结 …… 110
第6章　开源流计算框架 …… 111
6.1　Apache Storm …… 112
6.1.1　系统架构 …… 112
6.1.2　流的描述 …… 113
6.1.3　流的执行 …… 113
6.1.4　流的状态 …… 116
6.1.5　消息传达可靠性保证 …… 116
6.2　Spark Streaming …… 117
6.2.1　系统架构 …… 117
6.2.2　流的描述 …… 117
6.2.3　流的执行 …… 118
6.2.4　流的状态 …… 119
6.2.5　消息传达可靠性保证 …… 120
6.3　Apache Samza …… 120
6.3.1　系统架构 …… 120
6.3.2　流的描述 …… 121
6.3.3　流的执行 …… 123
6.3.4　流的状态 …… 126
6.3.5　消息传达可靠性保证 …… 126
6.4　Apache Flink …… 127
6.4.1　系统架构 …… 127
6.4.2　流的描述 …… 128
6.4.3　流的执行 …… 128
6.4.4　流的状态 …… 130
6.4.5　消息传达可靠性 …… 131
6.5　本章小结 …… 132
第7章　当做不到实时 …… 133
7.1　做不到实时的原因 …… 133
7.2　Lambda架构 …… 134
7.2.1　数据系统和Lambda架构思想 …… 135
7.2.2　Lambda架构 …… 135
7.2.3　Lambda架构在实时流计算中的运用 …… 137
7.3　Kappa架构与架构实例 …… 138
7.3.1　Kappa架构 …… 138
7.3.2　Kappa架构实例 …… 140
7.4　本章小结 …… 143
第8章　数据传输 …… 144
8.1　消息中间件 …… 144
8.1.1　为什么使用消息中间件 …… 145
8.1.2　消息中间件的工作模式 …… 146
8.1.3　消息模式 …… 147
8.1.4　使用消息中间件的注意事项 …… 149
8.2　Apache Kafka …… 150
8.2.1　Kafka架构 …… 150
8.2.2　Kafka生产者 …… 152
8.2.3　Kafka消费者 …… 154
8.2.4　将Kafka用于数据总线 …… 156
8.3　RabbitMQ …… 157
8.3.1　RabbitMQ架构 …… 157
8.3.2　RabbitMQ的使用 …… 158
8.3.3　将RabbitMQ用于配置总线 …… 160
8.4　Apache Camel …… 161
8.4.1　使用Apache Camel集成系统 …… 162
8.4.2　使用Apache Camel管理流数据路由 …… 163
8.5　本章小结 …… 166
第9章　数据存储 …… 167
9.1　存储的设计原则 …… 167
9.2　点查询 …… 169
9.2.1　数据灵活性 …… 170
9.2.2　MongoDB数据库 …… 171
9.2.3　数据过期和按时间分表 …… 172
9.3　Ad-Hoc查询 …… 174
9.3.1　倒排索引 …… 175
9.3.2　ElasticSearch …… 176
9.3.3　分索引存储 …… 177
9.4　离线分析 …… 178
9.4.1　存储 …… 179
9.4.2　处理和分析 …… 182
9.4.3　调度 …… 183
9.5　关系型数据库查询 …… 185
9.6　本章小结 …… 186
第10章　服务治理和配置管理 …… 188
10.1　服务治理 …… 188
10.1.1　流服务和微服务 …… 188
10.1.2　微服务框架Spring Cloud …… 190
10.2　面向配置编程 …… 195
10.2.1　面向配置编程思想 …… 195
10.2.2　更高级的配置：领域特定语言 …… 196
10.3　动态配置 …… 196
10.4　将前端配置与后端服务配置隔离开 …… 201
10.5　本章小结 …… 202
第11章　实时流计算应用案例 …… 204
11.1　实时流数据特征提取引擎 …… 204
11.1.1　流数据特征提取引擎DSL定义 …… 204
11.1.2　实现原理 …… 208
11.1.3　具体实现 …… 210
11.2　使用Flink实现风控引擎 …… 216
11.2.1　实现原理 …… 217
11.2.2　具体实现 …… 218
11.3　本章小结 …… 225



------...
 编辑推荐



---------------------------实时流计算系统设计与实现---------------------------


透过现象看本质，掌握高性能、高并发、实时系统设计与权衡之道
高度抽象出实时流计算系统的技术支撑、架构模式、编程模式、系统实现与协同系统，并从零编写一个分布式实时流计算系统


---------------------------数据中台：让数据用起来---------------------------


从技术、架构、设计、运营、管理5个维度系统总结数据中台实现方法论
数据中台领先企业数澜科技官方出品