算法与数据中台 基于Google、Facebook与微博实践

●章 算法与数据中台概述1 1.1 中台的背景和意义1 1.2 算法与数据中台的功能价值3 1.3 算法与数据中台的技术体系4 1.4 算法与数据中台的实践场景6 1.5 算法与数据中台的应用前景7 1.6 本章总结8 第2章 中台技术之基础设施10 2.1 研发效率系统10 2.1.1 代码组织和构建11 2.1.2 代码审查和任务管理13 2.1.3 持续集成15 2.1.4 通用压测平台17 2.2 服务通信系统19 2.2.1 跨进程通信框架20 2.2.2 服务注册与发现21 2.2.3 服务治理24 2.3 监控报警系统25 2.3.1 通用系统架构25 2.3.2 指标计算模型26 2.3.3 开源解决方案27 2.4 链路跟踪系统29 2.4.1 应用场景与设计目标30 2.4.2 系统架构30 2.5 本章总结32 第3章 中台技术之在线算法系统33 3.1 物料检索系统34 3.1.1 倒排检索35 3.1.2 倒排索引实例37 3.1.3 相似检索38 3.1.4 相似检索实例40 3.1.5 模型粗排40 3.2 模型预估服务41 3.2.1 整体架构42 3.2.2 多框架支持43 3.2.3 模型上线44 3.2.4 在线预估45 3.2.5 异构设备46 3.2.6 性能优化47 3.2.7 效果监控49 3.3 策略机制引擎50 3.3.1 整体架构50 3.3.2 计算流解释器51 3.3.3 Lua 解释器52 3.4 集群管理平台53 3.4.1 多租户架构53 3.4.2 集群动态管理54 3.4.3 集群性能监控57 3.4.4 配置动态分发59 3.5 效果评估系统60 3.5.1 背景介绍61 3.5.2 设计模式61 3.5.3 系统架构62 3.5.4 指标计算 3.6 本章总结65 第4章 中台技术之机器学台66 4.1 机器学台简介66 4.1.1 机器学习的研发流程67 4.1.2 机器学习的研发挑战69 4.1.3 机器学习的研发技术69 4.2 传统机器学习算法73 4.2.1 线性算法73 4.2.2 因子分解机算法77 4.2.3 决策树算法81 4.3 深度学习算法84 4.3.1 发展简史85 4.3.2 神经元模型86 4.3.3 神经网络模型87 4.3.4 神经网络的算法原理88 4.4 模型框架基本原理94 4.4.1 分布式计算架构94 4.4.2 并行计算的同步机制99 4.4.3 梯度更新算法102 4.5 层结构的模型框架108 4.5.1 Caffe109 4.5.2 DistBelief110 4.5.3 WBLEngine112 4.5.4 小结116 4.6 数据流结构的模型框架116 4.6.1 TensorFlow116 4.6.2 PyTorch122 4.6.3 小结126 4.7 复合结构的模型框架126 4.7.1 场景特点126 4.7.2 设计思路127 4.7.3 架构与实现128 4.7.4 性能优化131 4.7.5 小结132 4.8 机器学台简介132 4.8.1 单业务线开发阶段132 4.8.2 平台化建设阶段133 4.8.3 业界产品134 4.9 新浪微博 WBL 机器学台135 4.9.1 用户操作界面136 4.9.2 管理中心138 4.9.3 数据中心140 4.9.4 调度中心141 4.9.5 智能中心144 4.9.6 模型中心145 4.10 本章总结147 第5章 中台技术之分布式数据库148 5.1 分布式数据库概述148 5.1.1 SQL 数据库148 5.1.2 NoSQL 数据库149 5.1.3 NewSQL 数据库150 5.2 分布式数据库技术150 5.2.1 ACID 理论151 5.2.2 CAP 理论151 5.2.3 BASE 理论153 5.2.4 数据分片策略154 5.2.5 数据复制策略157 5.2.6 Gossip 协议158 5.2.7 分布式一致性协议160 5.2.8 分布式事务协议167 5.3 分布式数据库产品170 5.3.1 Redis170 5.3.2 Google BigTable170 5.3.3 Google Spanner173 5.4 LaserDB 分布式数据库177 5.4.1 系统架构178 5.4.2 数据模型179 5.4.3 分片策略180 5.4.4 批量加载181 5.4.5 同步机制182 5.4.6 高可用架构184 5.4.7 高性能方案185 5.5 LaserDB 应用案例分析188 5.5.1 数据缓存188 5.5.2 特征服务189 5.5.3 向量存储190 5.5.4 样本拼接190 5.6 本章总结191 第6章 中台技术之大数据平台192 6.1 大数据平台概述192 6.1.1 大数据的特点192 6.1.2 大数据平台的技术栈193 6.2 分布式协调系统194 6.2.1 Google Chubby195 6.2.2 Apache ZooKeeper196 6.2.3 Consul197 6.3 集群管理系统199 6.3.1 Google Borg200 6.3.2 Kubernetes202 6.3.3 Apache YARN203 6.4 分布式文件系统205 6.4.1 Google GFS205 6.4.2 Apache HDFS207 6.4.3 Dropbox MagicPocket209 6.5 消息管道系统210 6.5.1 Google PubSub211 6.5.2 Apache Kafka213 6.6 分布式计算系统214 6.6.1 MapReduce214 6.6.2 Apache Spark216 6.6.3 Apache Flink218 6.6.4 Apache Beam220 6.7 数据仓库与分布式查询系统221 6.7.1 Google BigQuery222 6.7.2 Apache Hive223 6.7.3 Facebook Presto224 6.7.4 Facebook Scuba226 6.8 本章总结227 第7章 中台实践之推荐系统228 7.1 推荐系统的背景简介228 7.1.1 场景概况229 7.1.2 整体架构230 7.1.3 推荐思路233 7.2 推荐系统的算法模型235 7.2.1 GBDT-LR 融合模型235 7.2.2 Wide ＆ Deep 模型237 7.2.3 DeepFM 模型238 7.2.4 双塔模型238 7.2.5 多任务模型239 7.2.6 算法的发展趋势241 7.3 推荐系统的效果度量244 7.3.1 体验指标244 7.3.2 算法指标245 7.4 Facebook 信息流推荐简介250 7.4.1 数据分发系统251 7.4.2 特征服务252 7.4.3 索引系统254 7.4.4 预估与排序服务255 7.4.5 实时样本拼接服务256 7.4.6 模型训练平台257 7.5 本章总结258 第8章 中台实践之数字广告259 8.1 数字广告的背景简介259 8.1.1 核心概念260 8.1.2 合约广告261 8.1.3 竞价广告262 8.1.4 程序化交易广告263 8.2 数字广告系统架构2 8.2.1 业务平台265 8.2.2 算法与数据中台265 8.3 数字广告系统中的数据管理266 8.3.1 站内数据267 8.3.2 站外数据267 8.4 数字广告系统中的受众定向268 8.4.1 内容定向268 8.4.2 用户标签定向269 8.4.3 定制化标签定向269 8.4.4 社交关系定向270 8.4.5 智能定向270 8.5 数字广告系统中的策略机制270 8.5.1 流量预测271 8.5.2 在线分配271 8.5.3 频次控制272 8.5.4 平滑投放272 8.5.5 探索策略273 8.5.6 智能出价274 8.5.7 广告竞价276 8.5.8 反作弊机制277 8.6 本章总结277 第9章 中台实践之网约车平台278 9.1 业务简介279 9.1.1 业务背景279 9.1.2 运作流程281 9.1.3 用户体验281 9.2 技术架构282 9.2.1 分层系统架构282 9.2.2 业务中台283 9.2.3 算法与数据中台285 9.3 打车定价场景286 9.3.1 场景描述286 9.3.2 价格动态下浮策略287 9.3.3 价格动态上浮策略289 9.3.4 小结290 9.4 打车排队场景290 9.4.1 场景描述290 9.4.2 排队时间预估策略291 9.4.3 小结292 9.5 打车安全场景292 9.5.1 场景描述292 9.5.2 安全策略293 9.5.3 小结294 9.6 本章总结294 参考文献295