大数据处理（第2版） / 战略性新兴领域（大数据）“十四五”规划教材
定价：￥43.00
作者： 金海，石宣化
出版社：高等教育出版社
- 高等教育出版社
- 9787040636826
- 2版
- 64272145-0
- 16开
- 500
- 工学
- 计算机类
- 计算机类
- 本科 研究生及以上
内容简介
本书是大数据新兴领域“十四五”高等教育教材。本书围绕互联网领域大数据处理生态系统的典型架构，从“理解大数据”“处理大数据”以及“系统观建立”三个角度培养读者的大数据处理系统能力。对应以上三个角度的能力，本书从思维、编程、优化三个方面编写，即基础技术篇、编程处理篇以及系统与优化篇。基础技术篇包含大数据处理和存储基础，从体系结构、编程、处理模式、大数据特征、分布式存储的需求以及关键技术等角度进行诠释。编程处理篇着重于数据处理本身，从应用编程、典型数据处理的角度讲解大数据批处理编程、流处理与图计算。系统与优化篇包含大数据系统资源管理以及大数据系统优化技术，讲解云计算环境下多任务管理机制、大数据分布式资源管理机制与服务协调机制，以及大数据处理系统优化的基本思路、关键组件分析和系统优化方法。
本书既可作为高等学校大数据相关专业的教学用书，也可供大数据领域专业技术人员参考。
本书既可作为高等学校大数据相关专业的教学用书，也可供大数据领域专业技术人员参考。
目录
目录
前辅文
基础技术篇
第1章 大数据处理基础
导言
1.1 大数据特征
1.1.1 基本特征
1.1.2 数据模型
1.2 大数据存储模式
1.2.1 分布式文件系统
1.2.2 大数据存储形式
1.2.3 大数据存储实例
1.3 大数据处理模式
1.3.1 并行处理
1.3.2 分布式处理
1.3.3 控制流的处理
1.3.4 数据流的处理
1.4 大数据编程模式
1.4.1 批处理
1.4.2 流处理
1.4.3 交互式数据处理
1.4.4 图处理
1.5 大数据处理体系结构
1.5.1 数据中心
1.5.2 数据中心体系结构
1.5.3 数据中心的网络拓扑结构
1.6 本章小结与全书内容组织
习题
参考文献
第2章 大数据存储基础
导言
2.1 分布式存储系统
2.1.1 分布式存储系统的基本概念
2.1.2 数据分布
2.1.3 复制与一致性
2.1.4 容错机制
2.1.5 可扩展性
2.2 分布式文件系统
2.2.1 分布式文件系统概述
2.2.2 HDFS的系统架构
2.2.3 数据分布
2.2.4 复制与一致性
2.2.5 容错机制
2.2.6 读写流程
2.2.7 HDFS实例
2.3 分布式键值系统
2.3.1 分布式键值系统概述
2.3.2 Dynamo概述
2.3.3 数据分布
2.3.4 复制与一致性
2.3.5 容错机制
2.3.6 负载均衡
2.3.7 读写流程
2.4 新型存储器件驱动的内存系统
2.4.1 内存系统对大数据处理的重要性
2.4.2 非易失性存储器
2.4.3 异构内存系统
2.5 本章小结
习题
参考文献
编程处理篇
第3章 大数据批处理编程
导言
3.1 函数式编程
3.1.1 函数式编程的起源
3.1.2 函数式编程的概念及特点
3.1.3 函数式编程的兴衰
3.2 函数式与大数据批处理编程
3.2.1 MapReduce的由来
3.2.2 大数据处理平台Hadoop
3.2.3 Hadoop与MapReduce
3.3 MapReduce编程
3.3.1 MapReduce编程框架
3.3.2 MapReduce主要特点
3.3.3 MapReduce经典程序：单词计数
3.3.4 MapReduce编程拓展：PageRank
3.4 Spark编程
3.4.1 Spark特性
3.4.2 Spark软件生态
3.4.3 Spark架构及原理
3.4.4 Spark编程示例
3.5 本章小结
习题
参考文献
第4章 大数据流处理
导言
4.1 流处理概述
4.1.1 流处理的定义
4.1.2 流处理的需求
4.1.3 流处理应用
4.2 分布式流处理
4.2.1 分布式流处理的基本原理
4.2.2 数据封装
4.2.3 建立应用拓扑
4.2.4 指定操作的并行度
4.2.5 指定数据分组与传输方式
4.3 微批流处理模式
4.3.1 微批流处理的处理过程
4.3.2 微批流处理模式的优势和挑战
4.3.3 基于内存计算批处理的微批流处理
4.4 开源系统及编程模型
4.4.1 Apache Storm
4.4.2 Spark Streaming
4.4.3 Apache Flink
4.5 流处理系统机制及优化
4.5.1 流处理调度及优化
4.5.2 流处理一致性语义
4.5.3 流处理容错
4.6 本章小结
习题
参考文献
第5章 图计算
导言
5.1 图计算背景
5.1.1 图计算简介
5.1.2 图计算特点
5.2 图计算编程与执行
5.2.1 图数据表达和存储
5.2.2 图计算算法基础
5.2.3 图计算迭代过程
5.3 图计算优化技术
5.3.1 图计算并行编程模型
5.3.2 图划分策略
5.3.3 消息推送机制
5.4 单机图计算系统
5.4.1 内存图计算系统
5.4.2 核外图计算系统
5.5 图计算硬件加速技术
5.5.1 基于GPU的图计算加速技术
5.5.2 基于MIC的图计算加速技术
5.5.3 基于FPGA的图计算加速技术
5.5.4 基于ASIC的图计算加速技术
5.6 图算法实例
5.6.1 拓扑属性算法
5.6.2 图数据管理和查询算法
5.7 图计算性能评价
5.8 本章小结
习题
参考文献
系统与优化篇
第6章 大数据系统资源管理
导言
6.1 大数据系统统一资源管理
6.1.1 统一资源管理的设计思想
6.1.2 统一资源管理的系统架构
6.1.3 统一资源管理的工作流程
6.2 大数据系统资源调度
6.2.1 资源调度系统的架构
6.2.2 典型调度算法
6.2.3 云原生混合调度
6.3 大数据系统资源协调
6.3.1 协调系统的架构与原理
6.3.2 复制状态机模型
6.3.3 分布式一致性算法
6.4 案例研究
6.4.1 YARN
6.4.2 ZooKeeper
6.4.3 Snowflake
6.5 本章小结
习题
参考文献
第7章 大数据系统优化技术
导言
7.1 存储优化
7.1.1 数据局部性优化
7.1.2 服务可扩展性优化
7.2 调度优化
7.2.1 调度模型
7.2.2 数据本地化
7.2.3 负载均衡
7.2.4 拖后腿问题与推测执行
7.3 运行时优化
7.3.1 中间结果缓存
7.3.2 序列化开销优化
7.4 本章小结
习题
参考文献
前辅文
基础技术篇
第1章 大数据处理基础
导言
1.1 大数据特征
1.1.1 基本特征
1.1.2 数据模型
1.2 大数据存储模式
1.2.1 分布式文件系统
1.2.2 大数据存储形式
1.2.3 大数据存储实例
1.3 大数据处理模式
1.3.1 并行处理
1.3.2 分布式处理
1.3.3 控制流的处理
1.3.4 数据流的处理
1.4 大数据编程模式
1.4.1 批处理
1.4.2 流处理
1.4.3 交互式数据处理
1.4.4 图处理
1.5 大数据处理体系结构
1.5.1 数据中心
1.5.2 数据中心体系结构
1.5.3 数据中心的网络拓扑结构
1.6 本章小结与全书内容组织
习题
参考文献
第2章 大数据存储基础
导言
2.1 分布式存储系统
2.1.1 分布式存储系统的基本概念
2.1.2 数据分布
2.1.3 复制与一致性
2.1.4 容错机制
2.1.5 可扩展性
2.2 分布式文件系统
2.2.1 分布式文件系统概述
2.2.2 HDFS的系统架构
2.2.3 数据分布
2.2.4 复制与一致性
2.2.5 容错机制
2.2.6 读写流程
2.2.7 HDFS实例
2.3 分布式键值系统
2.3.1 分布式键值系统概述
2.3.2 Dynamo概述
2.3.3 数据分布
2.3.4 复制与一致性
2.3.5 容错机制
2.3.6 负载均衡
2.3.7 读写流程
2.4 新型存储器件驱动的内存系统
2.4.1 内存系统对大数据处理的重要性
2.4.2 非易失性存储器
2.4.3 异构内存系统
2.5 本章小结
习题
参考文献
编程处理篇
第3章 大数据批处理编程
导言
3.1 函数式编程
3.1.1 函数式编程的起源
3.1.2 函数式编程的概念及特点
3.1.3 函数式编程的兴衰
3.2 函数式与大数据批处理编程
3.2.1 MapReduce的由来
3.2.2 大数据处理平台Hadoop
3.2.3 Hadoop与MapReduce
3.3 MapReduce编程
3.3.1 MapReduce编程框架
3.3.2 MapReduce主要特点
3.3.3 MapReduce经典程序：单词计数
3.3.4 MapReduce编程拓展：PageRank
3.4 Spark编程
3.4.1 Spark特性
3.4.2 Spark软件生态
3.4.3 Spark架构及原理
3.4.4 Spark编程示例
3.5 本章小结
习题
参考文献
第4章 大数据流处理
导言
4.1 流处理概述
4.1.1 流处理的定义
4.1.2 流处理的需求
4.1.3 流处理应用
4.2 分布式流处理
4.2.1 分布式流处理的基本原理
4.2.2 数据封装
4.2.3 建立应用拓扑
4.2.4 指定操作的并行度
4.2.5 指定数据分组与传输方式
4.3 微批流处理模式
4.3.1 微批流处理的处理过程
4.3.2 微批流处理模式的优势和挑战
4.3.3 基于内存计算批处理的微批流处理
4.4 开源系统及编程模型
4.4.1 Apache Storm
4.4.2 Spark Streaming
4.4.3 Apache Flink
4.5 流处理系统机制及优化
4.5.1 流处理调度及优化
4.5.2 流处理一致性语义
4.5.3 流处理容错
4.6 本章小结
习题
参考文献
第5章 图计算
导言
5.1 图计算背景
5.1.1 图计算简介
5.1.2 图计算特点
5.2 图计算编程与执行
5.2.1 图数据表达和存储
5.2.2 图计算算法基础
5.2.3 图计算迭代过程
5.3 图计算优化技术
5.3.1 图计算并行编程模型
5.3.2 图划分策略
5.3.3 消息推送机制
5.4 单机图计算系统
5.4.1 内存图计算系统
5.4.2 核外图计算系统
5.5 图计算硬件加速技术
5.5.1 基于GPU的图计算加速技术
5.5.2 基于MIC的图计算加速技术
5.5.3 基于FPGA的图计算加速技术
5.5.4 基于ASIC的图计算加速技术
5.6 图算法实例
5.6.1 拓扑属性算法
5.6.2 图数据管理和查询算法
5.7 图计算性能评价
5.8 本章小结
习题
参考文献
系统与优化篇
第6章 大数据系统资源管理
导言
6.1 大数据系统统一资源管理
6.1.1 统一资源管理的设计思想
6.1.2 统一资源管理的系统架构
6.1.3 统一资源管理的工作流程
6.2 大数据系统资源调度
6.2.1 资源调度系统的架构
6.2.2 典型调度算法
6.2.3 云原生混合调度
6.3 大数据系统资源协调
6.3.1 协调系统的架构与原理
6.3.2 复制状态机模型
6.3.3 分布式一致性算法
6.4 案例研究
6.4.1 YARN
6.4.2 ZooKeeper
6.4.3 Snowflake
6.5 本章小结
习题
参考文献
第7章 大数据系统优化技术
导言
7.1 存储优化
7.1.1 数据局部性优化
7.1.2 服务可扩展性优化
7.2 调度优化
7.2.1 调度模型
7.2.2 数据本地化
7.2.3 负载均衡
7.2.4 拖后腿问题与推测执行
7.3 运行时优化
7.3.1 中间结果缓存
7.3.2 序列化开销优化
7.4 本章小结
习题
参考文献
前辅文
基础技术篇
第1章 大数据处理基础
导言
1.1 大数据特征
1.1.1 基本特征
1.1.2 数据模型
1.2 大数据存储模式
1.2.1 分布式文件系统
1.2.2 大数据存储形式
1.2.3 大数据存储实例
1.3 大数据处理模式
1.3.1 并行处理
1.3.2 分布式处理
1.3.3 控制流的处理
1.3.4 数据流的处理
1.4 大数据编程模式
1.4.1 批处理
1.4.2 流处理
1.4.3 交互式数据处理
1.4.4 图处理
1.5 大数据处理体系结构
1.5.1 数据中心
1.5.2 数据中心体系结构
1.5.3 数据中心的网络拓扑结构
1.6 本章小结与全书内容组织
习题
参考文献
第2章 大数据存储基础
导言
2.1 分布式存储系统
2.1.1 分布式存储系统的基本概念
2.1.2 数据分布
2.1.3 复制与一致性
2.1.4 容错机制
2.1.5 可扩展性
2.2 分布式文件系统
2.2.1 分布式文件系统概述
2.2.2 HDFS的系统架构
2.2.3 数据分布
2.2.4 复制与一致性
2.2.5 容错机制
2.2.6 读写流程
2.2.7 HDFS实例
2.3 分布式键值系统
2.3.1 分布式键值系统概述
2.3.2 Dynamo概述
2.3.3 数据分布
2.3.4 复制与一致性
2.3.5 容错机制
2.3.6 负载均衡
2.3.7 读写流程
2.4 新型存储器件驱动的内存系统
2.4.1 内存系统对大数据处理的重要性
2.4.2 非易失性存储器
2.4.3 异构内存系统
2.5 本章小结
习题
参考文献
编程处理篇
第3章 大数据批处理编程
导言
3.1 函数式编程
3.1.1 函数式编程的起源
3.1.2 函数式编程的概念及特点
3.1.3 函数式编程的兴衰
3.2 函数式与大数据批处理编程
3.2.1 MapReduce的由来
3.2.2 大数据处理平台Hadoop
3.2.3 Hadoop与MapReduce
3.3 MapReduce编程
3.3.1 MapReduce编程框架
3.3.2 MapReduce主要特点
3.3.3 MapReduce经典程序：单词计数
3.3.4 MapReduce编程拓展：PageRank
3.4 Spark编程
3.4.1 Spark特性
3.4.2 Spark软件生态
3.4.3 Spark架构及原理
3.4.4 Spark编程示例
3.5 本章小结
习题
参考文献
第4章 大数据流处理
导言
4.1 流处理概述
4.1.1 流处理的定义
4.1.2 流处理的需求
4.1.3 流处理应用
4.2 分布式流处理
4.2.1 分布式流处理的基本原理
4.2.2 数据封装
4.2.3 建立应用拓扑
4.2.4 指定操作的并行度
4.2.5 指定数据分组与传输方式
4.3 微批流处理模式
4.3.1 微批流处理的处理过程
4.3.2 微批流处理模式的优势和挑战
4.3.3 基于内存计算批处理的微批流处理
4.4 开源系统及编程模型
4.4.1 Apache Storm
4.4.2 Spark Streaming
4.4.3 Apache Flink
4.5 流处理系统机制及优化
4.5.1 流处理调度及优化
4.5.2 流处理一致性语义
4.5.3 流处理容错
4.6 本章小结
习题
参考文献
第5章 图计算
导言
5.1 图计算背景
5.1.1 图计算简介
5.1.2 图计算特点
5.2 图计算编程与执行
5.2.1 图数据表达和存储
5.2.2 图计算算法基础
5.2.3 图计算迭代过程
5.3 图计算优化技术
5.3.1 图计算并行编程模型
5.3.2 图划分策略
5.3.3 消息推送机制
5.4 单机图计算系统
5.4.1 内存图计算系统
5.4.2 核外图计算系统
5.5 图计算硬件加速技术
5.5.1 基于GPU的图计算加速技术
5.5.2 基于MIC的图计算加速技术
5.5.3 基于FPGA的图计算加速技术
5.5.4 基于ASIC的图计算加速技术
5.6 图算法实例
5.6.1 拓扑属性算法
5.6.2 图数据管理和查询算法
5.7 图计算性能评价
5.8 本章小结
习题
参考文献
系统与优化篇
第6章 大数据系统资源管理
导言
6.1 大数据系统统一资源管理
6.1.1 统一资源管理的设计思想
6.1.2 统一资源管理的系统架构
6.1.3 统一资源管理的工作流程
6.2 大数据系统资源调度
6.2.1 资源调度系统的架构
6.2.2 典型调度算法
6.2.3 云原生混合调度
6.3 大数据系统资源协调
6.3.1 协调系统的架构与原理
6.3.2 复制状态机模型
6.3.3 分布式一致性算法
6.4 案例研究
6.4.1 YARN
6.4.2 ZooKeeper
6.4.3 Snowflake
6.5 本章小结
习题
参考文献
第7章 大数据系统优化技术
导言
7.1 存储优化
7.1.1 数据局部性优化
7.1.2 服务可扩展性优化
7.2 调度优化
7.2.1 调度模型
7.2.2 数据本地化
7.2.3 负载均衡
7.2.4 拖后腿问题与推测执行
7.3 运行时优化
7.3.1 中间结果缓存
7.3.2 序列化开销优化
7.4 本章小结
习题
参考文献
前辅文
基础技术篇
第1章 大数据处理基础
导言
1.1 大数据特征
1.1.1 基本特征
1.1.2 数据模型
1.2 大数据存储模式
1.2.1 分布式文件系统
1.2.2 大数据存储形式
1.2.3 大数据存储实例
1.3 大数据处理模式
1.3.1 并行处理
1.3.2 分布式处理
1.3.3 控制流的处理
1.3.4 数据流的处理
1.4 大数据编程模式
1.4.1 批处理
1.4.2 流处理
1.4.3 交互式数据处理
1.4.4 图处理
1.5 大数据处理体系结构
1.5.1 数据中心
1.5.2 数据中心体系结构
1.5.3 数据中心的网络拓扑结构
1.6 本章小结与全书内容组织
习题
参考文献
第2章 大数据存储基础
导言
2.1 分布式存储系统
2.1.1 分布式存储系统的基本概念
2.1.2 数据分布
2.1.3 复制与一致性
2.1.4 容错机制
2.1.5 可扩展性
2.2 分布式文件系统
2.2.1 分布式文件系统概述
2.2.2 HDFS的系统架构
2.2.3 数据分布
2.2.4 复制与一致性
2.2.5 容错机制
2.2.6 读写流程
2.2.7 HDFS实例
2.3 分布式键值系统
2.3.1 分布式键值系统概述
2.3.2 Dynamo概述
2.3.3 数据分布
2.3.4 复制与一致性
2.3.5 容错机制
2.3.6 负载均衡
2.3.7 读写流程
2.4 新型存储器件驱动的内存系统
2.4.1 内存系统对大数据处理的重要性
2.4.2 非易失性存储器
2.4.3 异构内存系统
2.5 本章小结
习题
参考文献
编程处理篇
第3章 大数据批处理编程
导言
3.1 函数式编程
3.1.1 函数式编程的起源
3.1.2 函数式编程的概念及特点
3.1.3 函数式编程的兴衰
3.2 函数式与大数据批处理编程
3.2.1 MapReduce的由来
3.2.2 大数据处理平台Hadoop
3.2.3 Hadoop与MapReduce
3.3 MapReduce编程
3.3.1 MapReduce编程框架
3.3.2 MapReduce主要特点
3.3.3 MapReduce经典程序：单词计数
3.3.4 MapReduce编程拓展：PageRank
3.4 Spark编程
3.4.1 Spark特性
3.4.2 Spark软件生态
3.4.3 Spark架构及原理
3.4.4 Spark编程示例
3.5 本章小结
习题
参考文献
第4章 大数据流处理
导言
4.1 流处理概述
4.1.1 流处理的定义
4.1.2 流处理的需求
4.1.3 流处理应用
4.2 分布式流处理
4.2.1 分布式流处理的基本原理
4.2.2 数据封装
4.2.3 建立应用拓扑
4.2.4 指定操作的并行度
4.2.5 指定数据分组与传输方式
4.3 微批流处理模式
4.3.1 微批流处理的处理过程
4.3.2 微批流处理模式的优势和挑战
4.3.3 基于内存计算批处理的微批流处理
4.4 开源系统及编程模型
4.4.1 Apache Storm
4.4.2 Spark Streaming
4.4.3 Apache Flink
4.5 流处理系统机制及优化
4.5.1 流处理调度及优化
4.5.2 流处理一致性语义
4.5.3 流处理容错
4.6 本章小结
习题
参考文献
第5章 图计算
导言
5.1 图计算背景
5.1.1 图计算简介
5.1.2 图计算特点
5.2 图计算编程与执行
5.2.1 图数据表达和存储
5.2.2 图计算算法基础
5.2.3 图计算迭代过程
5.3 图计算优化技术
5.3.1 图计算并行编程模型
5.3.2 图划分策略
5.3.3 消息推送机制
5.4 单机图计算系统
5.4.1 内存图计算系统
5.4.2 核外图计算系统
5.5 图计算硬件加速技术
5.5.1 基于GPU的图计算加速技术
5.5.2 基于MIC的图计算加速技术
5.5.3 基于FPGA的图计算加速技术
5.5.4 基于ASIC的图计算加速技术
5.6 图算法实例
5.6.1 拓扑属性算法
5.6.2 图数据管理和查询算法
5.7 图计算性能评价
5.8 本章小结
习题
参考文献
系统与优化篇
第6章 大数据系统资源管理
导言
6.1 大数据系统统一资源管理
6.1.1 统一资源管理的设计思想
6.1.2 统一资源管理的系统架构
6.1.3 统一资源管理的工作流程
6.2 大数据系统资源调度
6.2.1 资源调度系统的架构
6.2.2 典型调度算法
6.2.3 云原生混合调度
6.3 大数据系统资源协调
6.3.1 协调系统的架构与原理
6.3.2 复制状态机模型
6.3.3 分布式一致性算法
6.4 案例研究
6.4.1 YARN
6.4.2 ZooKeeper
6.4.3 Snowflake
6.5 本章小结
习题
参考文献
第7章 大数据系统优化技术
导言
7.1 存储优化
7.1.1 数据局部性优化
7.1.2 服务可扩展性优化
7.2 调度优化
7.2.1 调度模型
7.2.2 数据本地化
7.2.3 负载均衡
7.2.4 拖后腿问题与推测执行
7.3 运行时优化
7.3.1 中间结果缓存
7.3.2 序列化开销优化
7.4 本章小结
习题
参考文献
