- 电子工业出版社
- 9787121480225
- 1-3
- 540833
- 60266901-2
- 平塑
- 16开
- 2025-07
- 487
- 304
- 工学
- 计算机类
- 数据科学与大数据技术
- 本科 研究生及以上
内容简介
本书分为两大部分，第一部分是云计算及云服务关键技术，第二部分是大数据应用开发实践技术。第一部分介绍大数据应用的基础—云计算，其中第1章主要介绍云计算的基础知识；第2～4章介绍云服务实现的关键技术，包括虚拟化技术、数据存储与管理技术、网络虚拟化技术；第5章介绍开源的云服务产品管理工具，重点介绍OpenStack。第二部分以大数据技术为主线，第6章介绍大数据的基础知识；第7章以搭建开源大数据分析平台为需求，介绍大数据分析平台与技术栈；第8～15章以大数据应用实践流程为主线，按分层技术栈介绍数据采集工具与消息队列、Hadoop分布式系统基础架构、Spark计算平台、Spark平台的安装部署与实践、Flink计算平台与实践、NoSQL数据库、Hive数据仓库与实践、数据可视化；第16章给出了综合实践的案例。本书配套在线课程"云计算与大数据技术”已在"学堂在线”和"智慧树”在线平台上线，同步提供实践实验手册和录屏实操视频，方便读者将理论和实践相结合。本书配套PPT等教学资源可在华信教育资源网（www.hxedu.com.cn）免费下载。本书可作为本科和高职院校计算机、软件、大数据相关专业的教材，也可为对云计算与大数据技术感兴趣的初学者提供参考。
目录
第一部分 云计算及云服务关键技术
第1章 云计算概述 2
1.1 云计算简介 2
1.1.1 云计算的定义 2
1.1.2 云计算的演进过程 3
1.1.3 云计算的特点 6
1.1.4 云计算的应用 7
1.1.5 云计算安全 7
1.2 云计算的产业生态 9
1.2.1 云服务的分类 9
1.2.2 云计算的产业链 12
1.2.3 云服务提供商及产品 13
1.3 云计算的关键技术 15
1.3.1 分布式编程模型 16
1.3.2 虚拟化技术 16
1.3.3 数据存储技术 16
1.3.4 数据管理技术 17
1.3.5 云计算平台管理工具 17
第2章 虚拟化概述 19
2.1 虚拟化简介 19
2.1.1 什么是虚拟化 19
2.1.2 虚拟化技术的特点 20
2.1.3 虚拟化与云计算 20
2.2 虚拟化模式 21
2.2.1 虚拟机监控器 21
2.2.2 虚拟化模式的分类 21
2.3 服务器虚拟化 23
2.3.1 CPU虚拟化 23
2.3.2 内存虚拟化 26
2.3.3 I/O设备虚拟化 31
2.4 存储虚拟化 34
2.4.1 存储虚拟化的定义 34
2.4.2 存储虚拟化分类 35
2.5 网络虚拟化 35
2.6 虚拟化软件 36
第3章 数据存储与管理技术 37
3.1 集中式存储与分布式存储 37
3.1.1 常见存储分类 37
3.1.2 集中式存储 38
3.1.3 分布式存储 39
3.2 分布式文件系统 40
3.2.1 网络文件系统 40
3.2.2 分布式文件系统的实现 41
3.3 分布式对象存储 41
3.3.1 Swift对象存储 41
3.3.2 Haystack对象存储 42
3.4 分布式数据库 43
3.4.1 数据库架构模型 43
3.4.2 大规模并行处理数据库 44
3.4.3 分布式数据库的发展和产品 45
3.5 云存储 46
3.5.1 云存储的实现 46
3.5.2 公有云存储服务 46
3.5.3 私有云存储服务 47
第4章 网络虚拟化技术 49
4.1 网络虚拟化概述 49
4.1.1 常见的网络虚拟化 49
4.1.2 虚拟化环境下的物理网络 50
4.1.3 虚拟化环境下的虚拟网络 51
4.1.4 虚拟交换机 52
4.2 云计算与网络虚拟化 55
4.2.1 云计算与网络虚拟化的关系 55
4.2.2 SDN与NFV的关系 56
4.3 SDN的系统架构与特点 57
4.3.1 SDN的系统架构 57
4.3.2 SDN的特点 58
?
4.4 OpenFlow协议 58
4.4.1 OpenFlow协议简介 58
4.4.2 OpenFlow协议架构 59
4.4.3 OpenFlow交换机组成 60
4.5 网络功能虚拟化 61
4.5.1 网络功能虚拟化简介 61
4.5.2 NFV架构 62
4.5.3 NFV管理和编排 62
4.6 Overlay技术 63
4.6.1 Overlay简介 63
4.6.2 Overlay构建 65
4.6.3 Overlay主要技术标准 67
第5章 云服务产品管理工具 69
5.1 云服务产品IaaS云方案 69
5.1.1 IaaS云需求 69
5.1.2 IaaS云方案的设计 70
5.1.3 IaaS云方案的实施部署 70
5.2 云计算组件 73
5.2.1 VMware 73
5.2.2 Citrix 73
5.2.3 微软 74
5.3 云计算管理工具 75
5.3.1 SaaS云计算管理工具 75
5.3.2 PaaS云计算管理工具 77
5.3.3 IaaS云计算管理工具 79
5.4 OpenStack架构与组件 80
5.4.1 OpenStack逻辑架构 81
5.4.2 OpenStack物理架构 82
5.4.3 OpenStack组件 86
第二部分 大数据应用开发实践技术
第6章 大数据概述 90
6.1 认知大数据 90
6.1.1 大数据的定义 90
6.1.2 大数据的特点 90
6.1.3 大数据系统架构 91
6.1.4 大数据的应用 92
6.2 大数据关键技术 93
6.3 大数据与云计算 96
6.3.1 大数据与云计算的关系 96
6.3.2 云服务平台上的大数据服务 96
6.4 大数据与人工智能 97
6.4.1 大数据与人工智能的关系 97
6.4.2 云服务平台上的人工智能服务 98
6.5 大数据与物联网 100
6.5.1 物联网 100
6.5.2 大数据与物联网和云计算的关系 100
6.5.3 云服务平台上的物联网服务 101
第7章 大数据分析平台与技术栈 103
7.1 大数据分析平台 103
7.2 大数据分析平台的选择 104
7.3 开源大数据分析平台的搭建 106
7.3.1 底层操作系统 106
7.3.2 分布式计算平台 106
7.3.3 数据接入和预处理工具 107
7.3.4 数据存储工具 108
7.3.5 数据分析和挖掘工具 108
7.3.6 数据分析结果可视化及输出 109
7.4 大数据分析平台搭建可选择的工具 109
第8章 数据采集工具与消息队列 111
8.1 数据采集概述 111
8.1.1 大数据来源 111
8.1.2 数据采集途径 111
8.2 日志采集工具Flume 114
8.2.1 Flume简介 114
8.2.2 Flume NG的基本架构 114
8.3 数据迁移工具Sqoop 115
8.3.1 Sqoop简介 115
8.3.2 Sqoop架构 115
8.4 流数据采集框架Kafka 116
8.4.1 Kafka简介 116
8.4.2 Kafka架构 117
8.5 消息队列 118
8.5.1 消息队列简介 118
8.5.2 消息队列的作用 119
8.5.3 常见的消息队列 121
第9章 Hadoop分布式系统基础架构 125
9.1 Hadoop系统简介 125
9.2 Hadoop生态圈 125
9.2.1 Hadoop生态系统 125
9.2.2 Hadoop版本 126
9.3 HDFS概述 129
9.3.1 分布式文件系统 129
9.3.2 HDFS简介 130
9.3.3 HDFS架构 130
9.3.4 HDFS读写文件流程 131
9.3.5 HDFS的Block副本放置策略和可靠性策略 133
9.4 MapReduce计算框架 134
9.4.1 MapReduce架构 134
9.4.2 MapReduce的执行流程 135
9.4.3 MapReduce的Shuffle机制 137
9.5 YARN概述 138
9.5.1 YARN简介 138
9.5.2 YARN的特点 138
9.5.3 YARN的基本框架 139
9.5.4 YARN的工作流程 140
9.6 Hadoop的部署
第1章 云计算概述 2
1.1 云计算简介 2
1.1.1 云计算的定义 2
1.1.2 云计算的演进过程 3
1.1.3 云计算的特点 6
1.1.4 云计算的应用 7
1.1.5 云计算安全 7
1.2 云计算的产业生态 9
1.2.1 云服务的分类 9
1.2.2 云计算的产业链 12
1.2.3 云服务提供商及产品 13
1.3 云计算的关键技术 15
1.3.1 分布式编程模型 16
1.3.2 虚拟化技术 16
1.3.3 数据存储技术 16
1.3.4 数据管理技术 17
1.3.5 云计算平台管理工具 17
第2章 虚拟化概述 19
2.1 虚拟化简介 19
2.1.1 什么是虚拟化 19
2.1.2 虚拟化技术的特点 20
2.1.3 虚拟化与云计算 20
2.2 虚拟化模式 21
2.2.1 虚拟机监控器 21
2.2.2 虚拟化模式的分类 21
2.3 服务器虚拟化 23
2.3.1 CPU虚拟化 23
2.3.2 内存虚拟化 26
2.3.3 I/O设备虚拟化 31
2.4 存储虚拟化 34
2.4.1 存储虚拟化的定义 34
2.4.2 存储虚拟化分类 35
2.5 网络虚拟化 35
2.6 虚拟化软件 36
第3章 数据存储与管理技术 37
3.1 集中式存储与分布式存储 37
3.1.1 常见存储分类 37
3.1.2 集中式存储 38
3.1.3 分布式存储 39
3.2 分布式文件系统 40
3.2.1 网络文件系统 40
3.2.2 分布式文件系统的实现 41
3.3 分布式对象存储 41
3.3.1 Swift对象存储 41
3.3.2 Haystack对象存储 42
3.4 分布式数据库 43
3.4.1 数据库架构模型 43
3.4.2 大规模并行处理数据库 44
3.4.3 分布式数据库的发展和产品 45
3.5 云存储 46
3.5.1 云存储的实现 46
3.5.2 公有云存储服务 46
3.5.3 私有云存储服务 47
第4章 网络虚拟化技术 49
4.1 网络虚拟化概述 49
4.1.1 常见的网络虚拟化 49
4.1.2 虚拟化环境下的物理网络 50
4.1.3 虚拟化环境下的虚拟网络 51
4.1.4 虚拟交换机 52
4.2 云计算与网络虚拟化 55
4.2.1 云计算与网络虚拟化的关系 55
4.2.2 SDN与NFV的关系 56
4.3 SDN的系统架构与特点 57
4.3.1 SDN的系统架构 57
4.3.2 SDN的特点 58
?
4.4 OpenFlow协议 58
4.4.1 OpenFlow协议简介 58
4.4.2 OpenFlow协议架构 59
4.4.3 OpenFlow交换机组成 60
4.5 网络功能虚拟化 61
4.5.1 网络功能虚拟化简介 61
4.5.2 NFV架构 62
4.5.3 NFV管理和编排 62
4.6 Overlay技术 63
4.6.1 Overlay简介 63
4.6.2 Overlay构建 65
4.6.3 Overlay主要技术标准 67
第5章 云服务产品管理工具 69
5.1 云服务产品IaaS云方案 69
5.1.1 IaaS云需求 69
5.1.2 IaaS云方案的设计 70
5.1.3 IaaS云方案的实施部署 70
5.2 云计算组件 73
5.2.1 VMware 73
5.2.2 Citrix 73
5.2.3 微软 74
5.3 云计算管理工具 75
5.3.1 SaaS云计算管理工具 75
5.3.2 PaaS云计算管理工具 77
5.3.3 IaaS云计算管理工具 79
5.4 OpenStack架构与组件 80
5.4.1 OpenStack逻辑架构 81
5.4.2 OpenStack物理架构 82
5.4.3 OpenStack组件 86
第二部分 大数据应用开发实践技术
第6章 大数据概述 90
6.1 认知大数据 90
6.1.1 大数据的定义 90
6.1.2 大数据的特点 90
6.1.3 大数据系统架构 91
6.1.4 大数据的应用 92
6.2 大数据关键技术 93
6.3 大数据与云计算 96
6.3.1 大数据与云计算的关系 96
6.3.2 云服务平台上的大数据服务 96
6.4 大数据与人工智能 97
6.4.1 大数据与人工智能的关系 97
6.4.2 云服务平台上的人工智能服务 98
6.5 大数据与物联网 100
6.5.1 物联网 100
6.5.2 大数据与物联网和云计算的关系 100
6.5.3 云服务平台上的物联网服务 101
第7章 大数据分析平台与技术栈 103
7.1 大数据分析平台 103
7.2 大数据分析平台的选择 104
7.3 开源大数据分析平台的搭建 106
7.3.1 底层操作系统 106
7.3.2 分布式计算平台 106
7.3.3 数据接入和预处理工具 107
7.3.4 数据存储工具 108
7.3.5 数据分析和挖掘工具 108
7.3.6 数据分析结果可视化及输出 109
7.4 大数据分析平台搭建可选择的工具 109
第8章 数据采集工具与消息队列 111
8.1 数据采集概述 111
8.1.1 大数据来源 111
8.1.2 数据采集途径 111
8.2 日志采集工具Flume 114
8.2.1 Flume简介 114
8.2.2 Flume NG的基本架构 114
8.3 数据迁移工具Sqoop 115
8.3.1 Sqoop简介 115
8.3.2 Sqoop架构 115
8.4 流数据采集框架Kafka 116
8.4.1 Kafka简介 116
8.4.2 Kafka架构 117
8.5 消息队列 118
8.5.1 消息队列简介 118
8.5.2 消息队列的作用 119
8.5.3 常见的消息队列 121
第9章 Hadoop分布式系统基础架构 125
9.1 Hadoop系统简介 125
9.2 Hadoop生态圈 125
9.2.1 Hadoop生态系统 125
9.2.2 Hadoop版本 126
9.3 HDFS概述 129
9.3.1 分布式文件系统 129
9.3.2 HDFS简介 130
9.3.3 HDFS架构 130
9.3.4 HDFS读写文件流程 131
9.3.5 HDFS的Block副本放置策略和可靠性策略 133
9.4 MapReduce计算框架 134
9.4.1 MapReduce架构 134
9.4.2 MapReduce的执行流程 135
9.4.3 MapReduce的Shuffle机制 137
9.5 YARN概述 138
9.5.1 YARN简介 138
9.5.2 YARN的特点 138
9.5.3 YARN的基本框架 139
9.5.4 YARN的工作流程 140
9.6 Hadoop的部署
