分布式实时计算框架原理及实践案例
￥79.00定价
作者： 王成光
出版时间：2016年9月
出版社：电子工业出版社
- 电子工业出版社
- 9787121296208
- 83714
- 2016年9月
- TP274
内容简介
“授人以鱼不如授人以渔”，本书是作者以如此初心写成的，主要参考当前主流分布式实时计算框架Storm的任务分发和Spark Streaming的Mini-Batch设计思想，以及底层实现技术，开源了作者自研的轻量级分布式实时计算框架——Light_drtc，并且重点介绍设计思想和相关实现技术（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），最后从工程角度向大家介绍完整的个性化推荐系统，并实例介绍light_drtc在用户画像实时更新的应用。本书描述浅显易懂，希望读者理解分布式实时计算的实现原理，并快速上手解决实际问题。
王成光编著的《分布式实时计算框架原理及实践案例》适合读者包括：高校师生及从事软件开发的中高级工程师、架构师及技术管理者等。
王成光编著的《分布式实时计算框架原理及实践案例》适合读者包括：高校师生及从事软件开发的中高级工程师、架构师及技术管理者等。
目录
第1章 分布式实时计算框架介绍
1.1 分布式计算Hadoop
1.2 分布式实时计算
1.2.1 Spark Streaming
1.2.2 Storm
1.2.3 其他框架
1.3 为什么自研
1.4 总结
第2章 light_drtc 简介及使用说明
2.1 light_drtc 框架简介
2.2 light_drtc 代码结构
2.3 light_drtc 重要配置项
2.4 light_drtc 和Storm 比较
2.5 light_drtc 使用说明
2.5.1 ACN（AN 和CN 整合）作为独立服务
2.5.2 CN、AN 作为独立服务
2.5.3 任务计算JN
2.6 总结
第3章 light_drtc 核心技术实现
3.1 light_drtc 技术架构
3.2 light_drtc 计算框架设计思想
3.2.1 CN 设计思想
3.2.2 AN 多主模式设计思想
3.2.3 JN 设计思想
3.3 light_drtc 核心技术的实现
3.3.1 实时收集数据CN
3.3.2 任务协调管理AN
3.3.3 任务计算JN
3.4 总结
第4章 消息队列MQ
4.1 消息队列使用场景
4.2 消息队列原理
4.2.1 MQ 使用流程
4.2.2 MQ 基本概念
4.2.3 MQ 通信模式
4.2.4 目前知名MQ 比较
4.3 MQ 消费状态监控
4.3.1 KafkaOffsetMonitor 介绍
4.3.2 KafkaOffsetMonitor 部署
4.4 RabbitMQ 和Kafka 的基本使用
4.4.1 RabbitMQ 读写实例
4.4.2 Kafka 读写实例
4.5 总结
第5章 内存数据库Redis3.0 及SSDB
5.1 Redis 相关介绍
5.1.1 Redis3.0 集群架构
5.1.2 Redis3.0 集群选举与容错
5.1.3 SSDB 简介
5.2 Redis3.0 集群搭建
5.2.1 集群所依赖的Ruby 环境
5.2.2 Redis 集群创建
5.2.3 Redis 集群验证
5.2.4 SSDB 简单部署
5.3 Redis 管理及使用
5.3.1 Redis 基本使用
5.3.2 Redis 管理
5.4 Redis 客户端应用
5.4.1 Redis3.0 客户端
5.4.2 SSDB 客户端
5.5 本地缓存Guava Cache
5.5.1 认识Guava Cache
5.5.2 Guava Cache 使用
5.5.3 Java 客户端使用
5.6 总结
第6章 NoSQL：MongoDB3.0 和HBase1.0
6.1 MongoDB3.0 和HBase1.0 新特性
6.1.1 MongoDB3.0 新特性
6.1.2 HBase1.0 新特性
6.1.3 MongoDB 和HBase 比较
6.2 MongoDB3.0 集群和索引
6.2.1 MongoDB3.0 集群
6.2.2 Mongo 索引介绍
6.3 HBase 底层实现介绍
6.3.1 HBase 相关Hadoop 体系
6.3.2 HBase 系统架构
6.4 Mongo 和HBase 客户端使用
6.4.1 Mongo 客户端
6.4.2 HBase 客户端
6.5 总结
第7章 全文检索：ElasticSearch2.x
7.1 认识ElasticSearch 和Solr
7.1.1 ElasticSearch 和Solr 基本介绍
7.1.2 ES 基本概念
7.1.3 ES 和SolrCloud 集群结构
7.1.4 ES 使用案例
7.2 ES 和Solr 比较分析
7.2.1 ES 和Solr 发展比较
7.2.2 ES 和Solr 综合比较
7.3 ES 集群介绍
7.3.1 插件安装
7.3.2 中文分词安装
7.3.3 ES2.X 集群节点类型
7.3.4 ES 配置事项
7.4 ES 客户端使用
7.4.1 ES 客户端连接
7.4.2 ES 基本操作
7.4.3 ES 高级使用
7.5 ES 在自研框架中的作用
7.6 总结
第8章 微服务架构通信——RPC 和Web Service
8.1 微服务架构由来
8.1.1 微服务与SOA 比较
8.1.2 微服务架构的优缺点
8.1.3 微服务雪崩效应的防范
8.2 RPC 介绍及实践
8.2.1 Thrift/Nifty 介绍
8.2.2 Avro 介绍
8.2.3 Dubbo/Dubbox 介绍
8.2.4 GRPC/ProtoBuf 介绍
8.2.5 ZeroC ICE
8.3 Web Service 介绍及实践
8.3.1 SOAP 和Rest
8.3.2 JWS（JDK 自身实现Web Service）
8.3.3 Jetty：嵌入式Servlet 容器
8.3.4 基于Spring MVC
8.3.5 其他Web Service 框架
8.4 总结
第9章 综合实例：新闻推荐中的用户画像近实时更新
9.1 个性化推荐系统组成
9.1.1 用户行为收集
9.1.2 行为日志解析
9.1.3 常用推荐算法
9.1.4 用户画像数据仓库
9.1.5 元数据索引库
9.1.6 用户推荐服务
9.2 新闻推荐中用户画像近实时更新设计
9.2.1 新闻推荐中用户画像构成
9.2.2 新闻推荐中用户画像标签数据字典
9.2.3 新闻推荐用户画像实时更新流程
9.3 新闻推荐用户画像近实时更新技术实现
9.3.1 Storm 接入Kafka 实时计算实例
9.3.2 Spark Streaming 接入Kafka 实时计算实例
9.3.3 Light_drtc 接入Kafka
9.3.4 用户画像实时更新核心实现
9.4 总结
1.1 分布式计算Hadoop
1.2 分布式实时计算
1.2.1 Spark Streaming
1.2.2 Storm
1.2.3 其他框架
1.3 为什么自研
1.4 总结
第2章 light_drtc 简介及使用说明
2.1 light_drtc 框架简介
2.2 light_drtc 代码结构
2.3 light_drtc 重要配置项
2.4 light_drtc 和Storm 比较
2.5 light_drtc 使用说明
2.5.1 ACN（AN 和CN 整合）作为独立服务
2.5.2 CN、AN 作为独立服务
2.5.3 任务计算JN
2.6 总结
第3章 light_drtc 核心技术实现
3.1 light_drtc 技术架构
3.2 light_drtc 计算框架设计思想
3.2.1 CN 设计思想
3.2.2 AN 多主模式设计思想
3.2.3 JN 设计思想
3.3 light_drtc 核心技术的实现
3.3.1 实时收集数据CN
3.3.2 任务协调管理AN
3.3.3 任务计算JN
3.4 总结
第4章 消息队列MQ
4.1 消息队列使用场景
4.2 消息队列原理
4.2.1 MQ 使用流程
4.2.2 MQ 基本概念
4.2.3 MQ 通信模式
4.2.4 目前知名MQ 比较
4.3 MQ 消费状态监控
4.3.1 KafkaOffsetMonitor 介绍
4.3.2 KafkaOffsetMonitor 部署
4.4 RabbitMQ 和Kafka 的基本使用
4.4.1 RabbitMQ 读写实例
4.4.2 Kafka 读写实例
4.5 总结
第5章 内存数据库Redis3.0 及SSDB
5.1 Redis 相关介绍
5.1.1 Redis3.0 集群架构
5.1.2 Redis3.0 集群选举与容错
5.1.3 SSDB 简介
5.2 Redis3.0 集群搭建
5.2.1 集群所依赖的Ruby 环境
5.2.2 Redis 集群创建
5.2.3 Redis 集群验证
5.2.4 SSDB 简单部署
5.3 Redis 管理及使用
5.3.1 Redis 基本使用
5.3.2 Redis 管理
5.4 Redis 客户端应用
5.4.1 Redis3.0 客户端
5.4.2 SSDB 客户端
5.5 本地缓存Guava Cache
5.5.1 认识Guava Cache
5.5.2 Guava Cache 使用
5.5.3 Java 客户端使用
5.6 总结
第6章 NoSQL：MongoDB3.0 和HBase1.0
6.1 MongoDB3.0 和HBase1.0 新特性
6.1.1 MongoDB3.0 新特性
6.1.2 HBase1.0 新特性
6.1.3 MongoDB 和HBase 比较
6.2 MongoDB3.0 集群和索引
6.2.1 MongoDB3.0 集群
6.2.2 Mongo 索引介绍
6.3 HBase 底层实现介绍
6.3.1 HBase 相关Hadoop 体系
6.3.2 HBase 系统架构
6.4 Mongo 和HBase 客户端使用
6.4.1 Mongo 客户端
6.4.2 HBase 客户端
6.5 总结
第7章 全文检索：ElasticSearch2.x
7.1 认识ElasticSearch 和Solr
7.1.1 ElasticSearch 和Solr 基本介绍
7.1.2 ES 基本概念
7.1.3 ES 和SolrCloud 集群结构
7.1.4 ES 使用案例
7.2 ES 和Solr 比较分析
7.2.1 ES 和Solr 发展比较
7.2.2 ES 和Solr 综合比较
7.3 ES 集群介绍
7.3.1 插件安装
7.3.2 中文分词安装
7.3.3 ES2.X 集群节点类型
7.3.4 ES 配置事项
7.4 ES 客户端使用
7.4.1 ES 客户端连接
7.4.2 ES 基本操作
7.4.3 ES 高级使用
7.5 ES 在自研框架中的作用
7.6 总结
第8章 微服务架构通信——RPC 和Web Service
8.1 微服务架构由来
8.1.1 微服务与SOA 比较
8.1.2 微服务架构的优缺点
8.1.3 微服务雪崩效应的防范
8.2 RPC 介绍及实践
8.2.1 Thrift/Nifty 介绍
8.2.2 Avro 介绍
8.2.3 Dubbo/Dubbox 介绍
8.2.4 GRPC/ProtoBuf 介绍
8.2.5 ZeroC ICE
8.3 Web Service 介绍及实践
8.3.1 SOAP 和Rest
8.3.2 JWS（JDK 自身实现Web Service）
8.3.3 Jetty：嵌入式Servlet 容器
8.3.4 基于Spring MVC
8.3.5 其他Web Service 框架
8.4 总结
第9章 综合实例：新闻推荐中的用户画像近实时更新
9.1 个性化推荐系统组成
9.1.1 用户行为收集
9.1.2 行为日志解析
9.1.3 常用推荐算法
9.1.4 用户画像数据仓库
9.1.5 元数据索引库
9.1.6 用户推荐服务
9.2 新闻推荐中用户画像近实时更新设计
9.2.1 新闻推荐中用户画像构成
9.2.2 新闻推荐中用户画像标签数据字典
9.2.3 新闻推荐用户画像实时更新流程
9.3 新闻推荐用户画像近实时更新技术实现
9.3.1 Storm 接入Kafka 实时计算实例
9.3.2 Spark Streaming 接入Kafka 实时计算实例
9.3.3 Light_drtc 接入Kafka
9.3.4 用户画像实时更新核心实现
9.4 总结
