9787121392887 9787121390449  


算法与数据中台：基于Google、Facebook与微博实践

定价：89.00元

出版社： 电子工业出版社

ISBN：9787121392887

版次：1

商品编码：12947564

品牌：博文视点

包装：平装

开本：16

出版时间：2020-08-01

用纸：胶版纸




内容简介2.jpg
本书作者依据在Google、Facebook、新浪微博及滴滴出行等中美互联网公司的实际工作经历，对算法技术、数据技术，以及围绕它们进行的技术中台建设实践进行了全面的探讨，并在此基础上对信息流推荐、计算广告及智能出行等核心互联网业务进行了案例剖析。本书具有广阔的技术视野，内容颇具深度，既适合互联网行业的技术从业者阅读，也适合计算机相关专业的高年级本科生、研究生阅读。通过阅读本书，读者能加深对机器学习、深度学习、大数据、分布式系统及技术中台等相关领域的认知与理解，并从中获得一定的启发和可借鉴的经验。


目录.jpg
1章 算法与数据中台概述 1
1.1 中台的背景和意义 1
1.2 算法与数据中台的功能价值 3
1.3 算法与数据中台的技术体系 4
1.4 算法与数据中台的实践场景 6
1.5 算法与数据中台的应用前景 7
1.6 本章总结 8
2章 中台技术之基础设施 10
2.1 研发效率系统 10
2.1.1 代码组织和构建 11
2.1.2 代码审查和任务管理 13
2.1.3 持续集成 15
2.1.4 通用压测平台 17
2.2 服务通信系统 19
2.2.1 跨进程通信框架 20
2.2.2 服务注册与发现 21
2.2.3 服务治理 24
2.3 监控报警系统 25
2.3.1 通用系统架构 25
2.3.2 指标计算模型 26
2.3.3 开源解决方案 27
2.4 链路跟踪系统 29
2.4.1 应用场景与设计目标 30
2.4.2 系统架构 30
2.5 本章总结 32
3章 中台技术之在线算法系统 33
3.1 物料检索系统 34
3.1.1 倒排检索 35
3.1.2 倒排索引实例 37
3.1.3 相似检索 38
3.1.4 相似检索实例 40
3.1.5 模型粗排 40
3.2 模型预估服务 41
3.2.1 整体架构 42
3.2.2 多框架支持 43
3.2.3 模型上线 44
3.2.4 在线预估 45
3.2.5 异构设备 46
3.2.6 性能优化 47
3.2.7 效果监控 49
3.3 策略机制引擎 50
3.3.1 整体架构 50
3.3.2 计算流解释器 51
3.3.3 Lua 解释器 52
3.4 集管理平台 53
3.4.1 多租户架构 53
3.4.2 集动态管理 54
3.4.3 集性能监控 57
3.4.4 配置动态分发 59
3.5 效果评估系统 60
3.5.1 背景介绍 61
3.5.2 设计模式 61
3.5.3 系统架构 62
3.5.4 指标计算 64
3.6 本章总结 65
4章 中台技术之机器学习平台 66
4.1 机器学习平台简介 66
4.1.1 机器学习的研发流程 67
4.1.2 机器学习的研发挑战 69
4.1.3 机器学习的研发技术 69
4.2 传统机器学习算法 73
4.2.1 线性算法 73
4.2.2 因子分解机算法 77
4.2.3 决策树算法 81
4.3 深度学习算法 84
4.3.1 发展简史 85
4.3.2 神经元模型 86
4.3.3 神经网络模型 87
4.3.4 神经网络的算法原理 88
4.4 模型框架基本原理 94
4.4.1 分布式计算架构 94
4.4.2 并行计算的同步机制 99
4.4.3 梯度更新算法 102
4.5 层结构的模型框架 108
4.5.1 Caffe 109
4.5.2 DistBelief 110
4.5.3 WBLEngine 112
4.5.4 小结 116
4.6 数据流结构的模型框架 116
4.6.1 TensorFlow 116
4.6.2 PyTorch 122
4.6.3 小结 126
4.7 复合结构的模型框架 126
4.7.1 场景特点 126
4.7.2 设计思路 127
4.7.3 架构与实现 128
4.7.4 性能优化 131
4.7.5 小结 132
4.8 机器学习平台简介 132
4.8.1 单业务线开发阶段 132
4.8.2 平台化建设阶段 133
4.8.3 业界产品 134
4.9 新浪微博 WBL 机器学习平台 135
4.9.1 用户作界面 136
4.9.2 管理中心 138
4.9.3 数据中心 140
4.9.4 调度中心 141
4.9.5 智能中心 144
4.9.6 模型中心 145
4.10 本章总结 147
5章 中台技术之分布式数据库 148
5.1 分布式数据库概述 148
5.1.1 SQL 数据库 148
5.1.2 SQL 数据库 149
5.1.3 NewSQL 数据库 150
5.2 分布式数据库技术 150
5.2.1 ACID 理论 151
5.2.2 CAP 理论 151
5.2.3 BASE 理论 153
5.2.4 数据分片策略 154
5.2.5 数据复制策略 157
5.2.6 Gossip 协议 158
5.2.7 分布式一致性协议 160
5.2.8 分布式事务协议 167
5.3 分布式数据库产品 170
5.3.1 Redis 170
5.3.2 Google BigTable 170
5.3.3 Google Spanner 173
5.4 LaserDB 分布式数据库 177
5.4.1 系统架构 178
5.4.2 数据模型 179
5.4.3 分片策略 180
5.4.4 批量加载 181
5.4.5 同步机制 182
5.4.6 高可用架构 184
5.4.7 高性能方案 185
5.5 LaserDB 应用案例分析 188
5.5.1 数据缓存 188
5.5.2 特征服务 189
5.5.3 向量存储 190
5.5.4 样本拼接 190
5.6 本章总结 191
6章 中台技术之大数据平台 192
6.1 大数据平台概述 192
6.1.1 大数据的特点 192
6.1.2 大数据平台的技术栈 193
6.2 分布式协调系统 194
6.2.1 Google Chubby 195
6.2.2 Apache ZooKeeper 196
6.2.3 Consul 197
6.3 集管理系统 199
6.3.1 Google Borg 200
6.3.2 Kubernetes 202
6.3.3 Apache YARN 203
6.4 分布式文件系统 205
6.4.1 Google GFS 205
6.4.2 Apache HDFS 207
6.4.3 Dropbo MagicPocket 209
6.5 消息管道系统 210
6.5.1 Google PubSub 211
6.5.2 Apache Kafka 213
6.6 分布式计算系统 214
6.6.1 MapReduce 214
6.6.2 Apache Spark 216
6.6.3 Apache Flink 218
6.6.4 Apache Beam 220
6.7 数据仓库与分布式查询系统 221
6.7.1 Google BigQuery 222
6.7.2 Apache Hive 223
6.7.3 Facebook Presto 224
6.7.4 Facebook Scuba 226



大数据平台架构与原型实现：数据中台建设实战

定价：108.00元

出版社： 电子工业出版社

ISBN：9787121390449

包装：平装

开本：16开

出版时间：2020-07-01

用纸：胶版纸

字数：575


内容简介2.jpg

目前，在基于大数据技术的数据中台建设过程中，由于缺乏完备的架构参考和类似于“脚手架”的原型项目，很多IT团队会在工程技术层面上感到无从下手。开发人员迫切地需要设计良好的架构参考和简单易用的原型项目帮助他们快速启动自己的数据中台建设，本书就是为这一目标而写作的。

本书以大数据平台的架构设计为主题，围绕一个2万行源代码的原型项目讲解和演示如何在工程技术层面构建当下流行的数据中台。全书涵盖建设一个企业数据平台所需的各个重要环节，包括基础设施建设、数据采集、主数据管理、实时计算、批处理与数据仓库、数据存储及作业调度，每个环节独立成章，每一章介绍对应主题的架构方案和技术选型，然后结合原型项目讲解具体的实现细节。

如果你是一位架构师，本书可以帮助你提升对大数据平台的整体把控力；如果你是中高级开发人员，建议你选择自己感兴趣的章节深入学习原型项目的代码；如果你是企业的CIO或数据团队的负责人，本书的1、2、4章对于你定制企业数据中台战略、规划数据平台蓝图及组建数据团队都有重要的参考价值。






1章 企业与数据 1

1.1 数据的价值 3

1.2 企业的数据应用能力 6

1.3 企业的数据技术成熟度 12

1.4 数据团队建设 14

1.4.1 大数据人才类型 14

1.4.2 数据团队的组织与管理 20

1.5 建设数据文化 25



2章 聚焦中台 27

2.1 中台简介 27

2.2 企业信息系统现状 28

2.2.1 点对点式的系统集成 29

2.2.2 重复建设 30

2.2.3 阻碍业务沉淀与发展 31

2.3 烟囱架构案例：会员管理 31

2.4 曾经的“救赎”——SOA 38

2.5 中台详解 41

2.5.1 中台架构 42

2.5.2 中台的技术体系 46

2.5.3 中台的组织架构 48

2.5.4 中台不是“银弹” 51

2.6 数据中台 52

2.6.1 企业数据资产的现状 53

2.6.2 数据中台具备的能力 54

2.6.3 数据中台建设策略 56



3章 基础设施 60

3.1 集规划 61

3.1.1 集规模与节点配置 61

3.1.2 节点角色分配 63

3.2 创建实例与组网 65

3.2.1 登录云控制台 65

3.2.2 创建专有网络 67

3.2.3 创建安全组 67

3.2.4 创建实例 72

3.2.5 申请弹性公网IP地址 78

3.3 安装集 79

3.3.1 软件清单 79

3.3.2 环境预配置 80

3.3.3 安装Redis 86

3.3.4 安装Galera（MySQL集） 87

3.3.5 搭建本地CDH Repository 100

3.3.6 安装Cloudera Manager Server 103

3.3.7 安装CDH 110

3.3.8 高可用配置 114

3.3.9 安装Spark 2 117

3.3.10 启用Spark SQL 118

3.4 安装单节点集 121



4章 架构与原型 122

4.1 大数据平台架构设计 123

4.2 原型项目业务背景 127

4.3 原型项目架构方案 132

4.4 原型项目工程结构 139

4.5 部署原型项目 142

4.5.1 配置服务器 142

4.5.2 构建与部署 151

4.5.3 小化增量部署 165



5章 数据采集 167

5.1 技术堆栈与选型 168

5.2 需求与概要设计 171

5.3 原型项目设计 173

5.4 生成dummy数据 174

5.5 基于Sqoop的批量导入 177

5.5.1 项目原型 177

5.5.2 使用Sqoop 180

5.5.3 增量导入与全量导入 184

5.6 基于Camel的实时采集 185

5.6.1 项目原型 186

5.6.2 基本的数据采集 188

5.6.3 应对采集作业时 193

5.6.4 应对数据延迟就绪 197



6章 主数据管理 202

6.1 主数管理据系统的建设策略 202

6.2 原型设计 204

6.3 项目构建与运行 205

6.4 使用主数据 209

6.5 围绕主数据进行领域建模 209

6.6 主数据在内存数据库中的组织粒度 219


...............