分布式实时计算框架原理及实践案例王成光 pdf下载

基本信息

书名:分布式实时计算框架原理及实践案例

定价：79.00元

作者:王成光

出版社：电子工业出版社

出版日期：2016-09-01

ISBN：9787121296208

字数：280000

页码：292

版次：1

装帧：平装

开本：16开

商品重量：

编辑推荐

适读人群 ：本书适合读者包括：高校师生及企业中从事分布式计算的高级工程师、架构师及技术管理者等。
　　挖掘海量用户行为数据，如用户的浏览、收藏、分享、购买、评论、点赞和搜索等 n
　　快速有效地使用用户兴趣点大数据，挖掘出用户对产品的兴趣点，实时更新用户画像 n
　　向用户推荐其当前感兴趣的产品及广告 n
　　用计算将数据和流量变成财富、真正发挥数据资产的巨大价值。 n
　　互联网行业数据变现利器！ n

内容提要

“授人以鱼不如授人以渔”，《分布式实时计算框架原理及实践案例》是作者以如此初心写成的，主要参考当前主流分布式实时计算框架Storm的任务分发和Spark Streaming的Mini-Batch设计思想，以及底层实现技术，开源了作者自研的轻量级分布式实时计算框架——Light_drtc，并且重点介绍设计思想和相关实现技术（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty）， 后从工程角度向大家介绍完整的个性化推荐系统，并实例介绍Light_drtc在用户画像实时更新的应用。《分布式实时计算框架原理及实践案例》描述浅显易懂，希望读者理解分布式实时计算的实现原理，并快速上手解决实际问题。 n

目录

章 分布式实时计算框架介绍.1 n
1.1 分布式计算Hadoop.1 n
1.2 分布式实时计算........3 n
1.2.1 Spark Streaming..3 n
1.2.2 Storm .......6 n
1.2.3 其他框架.8 n
1.3 为什么自研......8 n
1.4 总结......10 n
第2 章 light_drtc 简介及使用说明......... 11 n
2.1 light_drtc 框架简介 11 n
2.2 light_drtc 代码结构12 n
2.3 light_drtc 重要配置项.......14 n
2.4 light_drtc 和Storm 比较...15 n
2.5 light_drtc 使用说明16 n
2.5.1 A（AN 和 整合）作为独立服务....16 n
2.5.2 、AN 作为独立服务........20 n
2.5.3 任务计算JN.....23 n
2.6 总结......26 n
第3 章 light_drtc 核心技术实现...27 n
3.1 light_drtc 技术架构27 n
3.2 light_drtc 计算框架设计思想....30 n
3.2.1 设计思想....30 n
3.2.2 AN 多主模式设计思想..........31 n
3.2.3 JN 设计思想.....34 n
3.3 light_drtc 核心技术的实现.........36 n
3.3.1 实时收集数据.......36 n
3.3.2 任务协调管理AN.......40 n
3.3.3 任务计算JN.....49 n
3.4 总结......50 n
第4 章 消息队列MQ.51 n
4.1 消息队列使用场景.51 n
4.2 消息队列原理..........53 n
4.2.1 MQ 使用流程...53 n
4.2.2 MQ 基本概念...54 n
4.2.3 MQ 通信模式...55 n
4.2.4 目前知名MQ 比较.....56 n
4.3 MQ 消费状态监控..61 n
4.3.1 KafkaOffsetMonitor 介绍.......62 n
4.3.2 KafkaOffsetMonitor 部署.......62 n
4.4 RabbitMQ 和Kafka 的基本使用.........64 n
4.4.1 RabbitMQ 读写实例...64 n
4.4.2 Kafka 读写实例68 n
4.5 总结......71 n
第5 章 内存数据库Redis3.0 及SSDB..........72 n
5.1 Redis 相关介绍........72 n
5.1.1 Redis3.0 集群架构......73 n
5.1.2 Redis3.0 集群选举与容错......74 n
5.1.3 SSDB 简介.......75 n
5.2 Redis3.0 集群搭建..76 n
5.2.1 集群所依赖的Ruby 环境......77 n
5.2.2 Redis 集群创建77 n
5.2.3 Redis 集群验证78 n
5.2.4 SSDB 简单部署..........79 n
5.3 Redis 管理及使用...81 n
5.3.1 Redis 基本使用81 n
5.3.2 Redis 管理........83 n
5.4 Redis 客户端应用...86 n
5.4.1 Redis3.0 客户端..........86 n
5.4.2 SSDB 客户端...89 n
5.5 本地缓存Guava Cache.....90 n
5.5.1 认识Guava Cache .......90 n
5.5.2 Guava Cache 使用.......91 n
5.5.3 Java 客户端使用.........94 n
5.6 总结......97 n
第6 章 NoSQL：MongoDB3.0 和HBase1.0 .........98 n
6.1 MongoDB3.0 和HBase1.0 新特性......99 n
6.1.1 MongoDB3.0 新特性..99 n
6.1.2 HBase1.0 新特性.......102 n
6.1.3 MongoDB 和HBase 比较....104 n
6.2 MongoDB3.0 集群和索引........105 n
6.2.1 MongoDB3.0 集群....105 n
6.2.2 Mongo 索引介绍.......107 n
6.3 HBase 底层实现介绍......108 n
6.3.1 HBase 相关Hadoop 体系....108 n
6.3.2 HBase 系统架构........ 110 n
6.4 Mongo 和HBase 客户端使用. 113 n
6.4.1 Mongo 客户端 113 n
6.4.2 HBase 客户端. 119 n
6.5 总结.....124 n
第7 章 全文检索：ElasticSearch2.x..125 n
7.1 认识ElasticSearch 和Solr........125 n
7.1.1 ElasticSearch 和Solr 基本介绍......125 n
7.1.2 ES 基本概念...127 n
7.1.3 ES 和SolrCloud 集群结构...129 n
7.1.4 ES 使用案例...130 n
7.2 ES 和Solr 比较分析.......131 n
7.2.1 ES 和Solr 发展比较.131 n
7.2.2 ES 和Solr 综合比较.132 n
7.3 ES 集群介绍135 n
7.3.1 插件安装........135 n
7.3.2 中文分词安装136 n
7.3.3 ES2.X 集群节点类型138 n
7.3.4 ES 配置事项...142 n
7.4 ES 客户端使用......144 n
7.4.1 ES 客户端连接..........145 n
7.4.2 ES 基本操作...146 n
7.4.3 ES 高级使用...150 n
7.5 ES 在自研框架中的作用..........154 n
7.6 总结.....155 n
第8 章 微服务架构通信——RPC 和Web Service ........156 n
8.1 微服务架构由来....156 n
8.1.1 微服务与SOA 比较..157 n
8.1.2 微服务架构的优缺点159 n
8.1.3 微服务雪崩效应的防范.......161 n
8.2 RPC 介绍及实践...163 n
8.2.1 Thrift/Nifty 介绍........163 n
8.2.2 Avro 介绍.......168 n
8.2.3 Dubbo/Dubbox 介绍..180 n
8.2.4 GRPC/ProtoBuf 介绍185 n
8.2.5 ZeroC ICE.......191 n
8.3 Web Service 介绍及实践..........199 n
8.3.1 SOAP 和Rest .200 n
8.3.2 JWS（K 自身实现Web Service）........202 n
8.3.3 Jetty：嵌入式Servlet 容器..204 n
8.3.4 基于Spring MVC......206 n
8.3.5 其他Web Service 框架........ 211 n
8.4 总结.....212 n
第9 章 综合实例：新闻推荐中的用户画像近实时更新213 n
9.1 个性化推荐系统组成.....213 n
9.1.1 用户行为收集214 n
9.1.2 行为日志解析216 n
9.1.3 常用推荐算法221 n
9.1.4 用户画像数据仓库...245 n
9.1.5 元数据索引库247 n
9.1.6 用户推荐服务248 n
9.2 新闻推荐中用户画像近实时更新设计......248 n
9.2.1 新闻推荐中用户画像构成...250 n
9.2.2 新闻推荐中用户画像标签数据字典.........251 n
9.2.3 新闻推荐用户画像实时更新流程..257 n
9.3 新闻推荐用户画像近实时更新技术实现..260 n
9.3.1 Storm 接入Kafka 实时计算实例...260 n
9.3.2 Spark Streaming 接入Kafka 实时计算实例........265 n
9.3.3 Light_drtc 接入Kafka..........270 n
9.3.4 用户画像实时更新核心实现..........270 n
9.4 总结.....280 n

作者介绍

王成光，目前任职一点资讯研发架构师，硕士毕业8年，曾先后任职窝窝团、优购、搜狐、网易等架构师、技术专家职位，专注于搜索、推荐、数据挖掘领域研发工作，涉足技术范围： n
　　搜索：ES／SolrCloud n
　　分布式计算：Hadoop、Storm和Spark n
　　MQ： Kafka、RabbitMQ、ActiveMQ、ZeroMQ n
　　NoSQL： Reids/SSDB、Mongo3.0、HBase1.0、AeroSpike n
　　SOA微服务： RPC和Web Service n

序言