9787121392887 9787121386367
9787121390449


算法与数据中台：基于Google、Facebook与微博实践

定价：89.00元

出版社： 电子工业出版社

ISBN：9787121392887

版次：1

商品编码：12947564

品牌：博文视点

包装：平装

开本：16

出版时间：2020-08-01

用纸：胶版纸




内容简介2.jpg
本书作者依据在Google、Facebook、新浪微博及滴滴出行等中美互联网公司的实际工作经历，对算法技术、数据技术，以及围绕它们进行的技术中台建设实践进行了全面的探讨，并在此基础上对信息流、计算广告及智能出行等核心互联网业务进行了案例剖析。本书具有广阔的技术视野，内容颇具深度，既适合互联网行业的技术从业者阅读，也适合计算机相关的高年级本科生、研究生阅读。通过阅读本书，读者能加深对机器学习、深度学习、大数据、分布式及技术中台等相关领域的认知与理解，并从中获得一定的启发和可借鉴的经验。


目录.jpg
1章 算法与数据中台概述 1
1.1 中台的背景和意义 1
1.2 算法与数据中台的功能价值 3
1.3 算法与数据中台的技术体系 4
1.4 算法与数据中台的实践场景 6
1.5 算法与数据中台的应用前景 7
1.6 本章总结 8
2章 中台技术之基础设施 10
2.1 研发效率 10
2.1.1 代码组织和构建 11
2.1.2 代码审查和任务管理 13
2.1.3 持续集成 15
2.1.4 通用压测平台 17
2.2 服务通信 19
2.2.1 跨进程通信框架 20
2.2.2 服务注册与发现 21
2.2.3 服务治理 24
2.3 监控报警 25
2.3.1 通用架构 25
2.3.2 指标计算模型 26
2.3.3 开源解决方案 27
2.4 链路跟踪 29
2.4.1 应用场景与设计目标 30
2.4.2架构 30
2.5 本章总结 32
3章 中台技术之在线算法 33
3.1 物料检索 34
3.1.1 倒排检索 35
3.1.2 倒排索引实例 37
3.1.3 相似检索 38
3.1.4 相似检索实例 40
3.1.5 模型粗排 40
3.2 模型预估服务 41
3.2.1 整体架构 42
3.2.2 多框架支持 43
3.2.3 模型上线 44
3.2.4 在线预估 45
3.2.5 异构设备 46
3.2.6 性能优化 47
3.2.7 效果监控 49
3.3 策略机制引擎 50
3.3.1 整体架构 50
3.3.2 计算流解释器 51
3.3.3 Lua 解释器 52
3.4 集管理平台 53
3.4.1 多租户架构 53
3.4.2 集动态管理 54
3.4.3 集性能监控 57
3.4.4 配置动态分发 59
3.5 效果评估 60
3.5.1 背景介绍 61
3.5.2 设计模式 61
3.5.3架构 62
3.5.4 指标计算 64
3.6 本章总结 65
4章 中台技术之机器学习平台 66
4.1 机器学习平台简介 66
4.1.1 机器学习的研发流程 67
4.1.2 机器学习的研发挑战 69
4.1.3 机器学习的研发技术 69
4.2 传统机器学习算法 73
4.2.1 线性算法 73
4.2.2 因子分解机算法 77
4.2.3 决策树算法 81
4.3 深度学习算法 84
4.3.1 发展简史 85
4.3.2 神经元模型 86
4.3.3 神经网络模型 87
4.3.4 神经网络的算法原理 88
4.4 模型框架基本原理 94
4.4.1 分布式计算架构 94
4.4.2 并行计算的同步机制 99
4.4.3 梯度更新算法 102
4.5 层结构的模型框架 108
4.5.1 Caffe 109
4.5.2 DistBelief 110
4.5.3 WBLEngine 112
4.5.4 小结 116
4.6 数据流结构的模型框架 116
4.6.1 TensorFlow 116
4.6.2 PyTorch 122
4.6.3 小结 126
4.7 复合结构的模型框架 126
4.7.1 场景特点 126
4.7.2 设计思路 127
4.7.3 架构与实现 128
4.7.4 性能优化 131
4.7.5 小结 132
4.8 机器学习平台简介 132
4.8.1 单业务线开发阶段 132
4.8.2 平台化建设阶段 133
4.8.3 业界产品 134
4.9 新浪微博 WBL 机器学习平台 135
4.9.1 用户作界面 136
4.9.2 管理中心 138
4.9.3 数据中心 140
4.9.4 调度中心 141
4.9.5 智能中心 144
4.9.6 模型中心 145
4.10 本章总结 147
5章 中台技术之分布式数据库 148
5.1 分布式数据库概述 148
5.1.1 SQL 数据库 148
5.1.2 SQL 数据库 149
5.1.3 NewSQL 数据库 150
5.2 分布式数据库技术 150
5.2.1 ACID 理论 151
5.2.2 CAP 理论 151
5.2.3 BASE 理论 153
5.2.4 数据分片策略 154
5.2.5 数据复制策略 157
5.2.6 Gossip 协议 158
5.2.7 分布式一致性协议 160
5.2.8 分布式事务协议 167
5.3 分布式数据库产品 170
5.3.1 Redis 170
5.3.2 Google BigTable 170
5.3.3 Google Spanner 173
5.4 LaserDB 分布式数据库 177
5.4.1架构 178
5.4.2 数据模型 179
5.4.3 分片策略 180
5.4.4 批量加载 181
5.4.5 同步机制 182
5.4.6 高可用架构 184
5.4.7 高性能方案 185
5.5 LaserDB 应用案例分析 188
5.5.1 数据缓存 188
5.5.2 特征服务 189
5.5.3 向量存储 190
5.5.4 样本拼接 190
5.6 本章总结 191
6章 中台技术之大数据平台 192
6.1 大数据平台概述 192
6.1.1 大数据的特点 192
6.1.2 大数据平台的技术栈 193
6.2 分布式协调 194
6.2.1 Google Chubby 195
6.2.2 Apache ZooKeeper 196
6.2.3 Consul 197
6.3 集管理 199
6.3.1 Google Borg 200
6.3.2 Kubernetes 202
6.3.3 Apache YARN 203
6.4 分布式文件 205
6.4.1 Google GFS 205
6.4.2 Apache HDFS 207
6.4.3 Dropbo MagicPocket 209
6.5 消息管道 210
6.5.1 Google PubSub 211
6.5.2 Apache Kafka 213
6.6 分布式计算 214
6.6.1 MapReduce 214
6.6.2 Apache Spark 216
6.6.3 Apache Flink 218
6.6.4 Apache Beam 220
6.7 数据仓库与分布式查询 221
6.7.1 Google BigQuery 222
6.7.2 Apache Hive 223
6.7.3 Facebook Presto 224
6.7.4 Facebook Scuba 226
6.8 本章总结 227
7章 中台实践之 228
7.1的背景简介 228
7.1.1 场景概况 229
7.1.2 整体架构 230
7.1.3思路 233
7.2的算法模型 235
7.2.1 GBDT-LR 融合模型 235
7.2.2 Wide ＆ Deep 模型 237
7.2.3 DeepFM 模型 238


书名：数据中台架构：企业数据化佳实践

定价：86.00元

出版社： 电子工业出版社

ISBN：9787121386367

包装：平装

开本：16出

版时间：2020-05-01

用纸：胶版纸






本书对企业数据化建设的目标、内容及定位做了相对完整的论述，详细地阐述了数据中台的定义、内容及如何支撑企业数据化整体建设，同时也介绍了数据中台在企业中的落地步骤、丰富的数据应用场景与实际效果。本书是企业数据化建设的实用参考书。
本书的内容完全基于笔者团队的实践经验。笔者团队曾经帮助十几个行业头部企业的数据中台项目成功落地，这些项目验证了本书中阐述的方体系的可行性。希望本书能够对国内数据化工作者提供一定的帮助。




1 信息认知和当前的信息化
1.1 信息工具的发展推动人类历史进步
1.2 信息工具的进步与历史发展
1.3 当前的信息化
2 企业数据化
2.1 企业数据化认知
2.2 企业数据化与企业信息化及企业的关系
2.3 企业数据化建设的内容
2.4 企业数据化的现状与问题
3 数据中台概述
3.1 数据中台是什么
3.2 数据中台的价值与建设的必要性
3.3 数据中台建设五步法
3.3.1 数据中台建设五步法概述
3.3.2 一步：数据资源的盘点与规划
3.3.3 二步：数据应用规划与设计
3.3.4 三步：数据资产建设
3.3.5 步：数据应用的详细设计与实现
3.3.6 五步：数据化组织规划
4 数据资源盘点与规划
4.1 数据资源盘点
4.2 数据资源规划
5 数据资产建设
5.1 数据资产建设概述
5.2 产品选型与技术方案设计
5.3 数据模型设计规范
5.4 数据开发规范及数据开发
6 数据应用规划与建设
6.1 数据应用规划
6.2 数据应用建设
7 数据应用之佳实践
7.1 房地产行业的数据应用方案
7.2 鞋服行业的数据应用方案
7.3 乳制品行业的数据应用方案
7.4 新零售营销的数据应用方案
7.5 人力资源领域的数据应用方案
8 数据化组织规划
8.1 数据化组织规划的必要性
8.2 数据化组织的定位与职责
8.3 数据化组织的工作内容与边界
8.4 数据化组织的岗位设置
8.5 数据化组织的人数配置、预算资金与考核建议
9 数据中台与数据质量
9.1 数据质量的常见问题
9.2 数据模型规范提升数据质量
9.3 数据管理提升数据质量
9.4 数据共享提升数据质量
9.5 清洗历史数据提升数据质量
9.6 主数据管理提升基础数据质量
9.6.1 人员主数据管理
9.6.2 账户主数据管理
9.6.3 组织主数据管理
9.6.4 客商主数据管理
9.6.5 顾客主数据管理
9.6.6 产品主数据管理
9.6.7 项目主数据管理
9.6.8 资产主数据管理
9.6.9 物料主数据管理
10 数据中台建设
10.1 数据中台建设的特点
10.2 数据中台建设的策略选择
10.3 数据中台建设的整体流程
10.4 数据中台的建设及应对方法
10.4.1 数据中台的定位问题
10.4.2 数据中台的管理博弈
10.4.3 数据中台的业务价值方向选择
11 数据中台的软件支撑
11.1 平台的整体架构
11.2 计算引擎
11.3 离线/流计算开发套件
11.4 实时计算开发套件
11.4.1 FlinkStreamSQL
11.4.2 数据开发
11.4.3 数据运维
11.4.4 实时采集
11.5 数据资产管理套件
11.5.1 数据地图
11.5.2 数据模型规范管理
11.6 数据质量管理套件
11.7 数据科学平台
11.7.1 算法数据资源管理
11.7.2 可视化实验开发
11.7.3 算法模型离线训练
11.7.4 模型在线部署和调用
11.8 分析引擎
11.9 数据API引擎
11.9.1 数据API引擎的常用数据源
11.9.2 API发布
11.9.3 API管理与授权
11.9.4 API申请与调用
11.9.5 API测试
11.9.6 API安全
11.10 标签引擎
11.10.1 实体管理
11.10.2 标签中心
11.10.3 组分析
11.10.4 标签数据服务
11.11 数据应用规划工具
11.11.1 业务架构梳理工具
11.11.2 数据应用规划工具
11.11.3 指标与标签体系管理工具
11.11.4 数据资源盘点工具
11.11.5 数据应用规划看板


大数据平台架构与原型实现：数据中台建设实战

定价：108.00元

出版社： 电子工业出版社

ISBN：9787121390449

包装：平装

开本：16开

出版时间：2020-07-01

用纸：胶版纸

字数：575


内容简介2.jpg

目前，在基于大数据技术的数据中台建设过程中，由于缺乏完备的架构参考和类似于“脚手架”的原型项目，很多IT团队会在工程技术层面上感到无从下手。开发人员迫切地需要设计良好的架构参考和简单易用的原型项目帮助他们快速启动自己的数据中台建设，本书就是为这一目标而写作的。

本书以大数据平台的架构设计为主题，围绕一个2万行源代码的原型项目讲解和演示如何在工程技术层面构建当下流行的数据中台。全书涵盖建设一个企业数据平台所需的各个重要环节，包括基础设施建设、数据采集、主数据管理、实时计算、批处理与数据仓库、数据存储及作业调度，每个环节独立成章，每一章介绍对应主题的架构方案和技术选型，然后结合原型项目讲解具体的实现细节。

如果你是一位架构师，本书可以帮助你提升对大数据平台的整体把控力；如果你是中开发人员，建议你选择自己感兴趣的章节深入学习原型项目的代码；如果你是企业的CIO或数据团队的负责人，本书的1、2、4章对于你定制企业数据中台战略、规划数据平台蓝图及组建数据团队都有重要的参考价值。






1章 企业与数据 1

1.1 数据的价值 3

1.2 企业的数据应用能力 6

1.3 企业的数据技术成熟度 12

1.4 数据团队建设 14

1.4.1 大数据人才类型 14

1.4.2 数据团队的组织与管理 20

1.5 建设数据文化 25



2章 聚焦中台 27

2.1 中台简介 27

2.2 企业信息现状 28

2.2.1 点对点式的集成 29

2.2.2 重复建设 30

2.2.3 阻碍业务沉淀与发展 31

2.3 烟囱架构案例：会员管理 31

2.4 曾经的“救赎”——SOA 38

2.5 中台详解 41

2.5.1 中台架构 42

2.5.2 中台的技术体系 46

2.5.3 中台的组织架构 48

2.5.4 中台不是“银弹” 51

2.6 数据中台 52

2.6.1 企业数据资产的现状 53

2.6.2 数据中台具备的能力 54

2.6.3 数据中台建设策略 56



3章 基础设施 60

3.1 集规划 61

3.1.1 集规模与节点配置 61

3.1.2 节点角色分配 63

3.2 创建实例与组网 65

3.2.1 登录云控制台 65

3.2.2 创建专有网络 67

3.2.3 创建安全组 67

3.2.4 创建实例 72

3.2.5 申请弹性公网IP地址 78

3.3 安装集 79

3.3.1 软件清单 79

3.3.2 环境预配置 80

3.3.3 安装Redis 86

3.3.4 安装Galera（MySQL集） 87

3.3.5 搭建本地CDH Repository 100

3.3.6 安装Cloudera Manager Server 103

3.3.7 安装CDH 110

3.3.8 高可用配置 114

3.3.9 安装Spark 2 117

3.3.10 启用Spark SQL 118

3.4 安装单节点集 121



4章 架构与原型 122

4.1 大数据平台架构设计 123

4.2 原型项目业务背景 127

4.3 原型项目架构方案 132

4.4 原型项目工程结构 139

4.5 部署原型项目 142

4.5.1 配置服务器 142

4.5.2 构建与部署 151

4.5.3 小化增量部署 165



5章 数据采集 167

5.1 技术堆栈与选型 168

5.2 需求与概要设计 171

5.3 原型项目设计 173

5.4 生成dummy数据 174

5.5 基于Sqoop的批量导入 177

5.5.1 项目原型 177

5.5.2 使用Sqoop 180

5.5.3 增量导入与全量导入 184

5.6 基于Camel的实时采集 185

5.6.1 项目原型 186

5.6.2 基本的数据采集 188

5.6.3 应对采集作业时 193

5.6.4 应对数据就绪 197



6章 主数据管理 202

6.1 主数管理据的建设策略 202

6.2 原型设计 204

6.3 项目构建与运行 205

6.4 使用主数据 209

6.5 围绕主数据进行领域建模 209

6.6 主数据在内存数据库中的组织粒度 219

..............

^_^:20efbba4c6b3add9d8c372ffa4684e3d