第一篇　大数据基础篇
第1章　大数据理论基础 2
1.1 大数据概述 3
1.1.1 大数据简介 3
1.1.2 大数据处理流程 4
1.1.3 大数据的发展历程 5
1.2 大数据的应用及在中国的发展 5
1.2.1 大数据的应用领域及局限性 5
1.2.2 大数据在中国的发展 6
1.2.3 大数据对我国未来发展的影响 7
1.3 大数据基本架构 7
1.3.1 大数据基本架构Hadoop概述 8
1.3.2 华为大数据FusionInsight架构概述 8
第2章　大数据相关软件基础 11
2.1 Linux基础 12
2.1.1 文件与目录的操作 12
2.1.2 文本编辑器 20
2.2 Python基础 22
2.2.1 Python基础语法 22
2.2.2 条件判断、循环语句 29
2.2.3 函数 36
2.3 开源大数据Hadoop搭建实验 41
2.3.1 操作系统创建 41
2.3.2 软件包下载与安装 44
2.3.3 集群安装与测试 44
2.4 华为FusionInsight HD搭建实验 55
2.4.1 软件包下载与上传 55
2.4.2 集群预安装与测试 61
2.4.3 分布式平台与集群安装部署 63
第二篇　大数据关键技术篇
第3章　大数据采集组件* 70
3.1 Flume轻量日志采集工具 71
3.1.1 Flume的基本概念 71
3.1.2 Flume的架构 71
3.1.3 Flume的高级特性 75
3.2 Kafka消息订阅系统 77
3.2.1 Kafka简介 77
3.2.2 Kafka的基本概念 77
3.2.3 Kafka的核心组件 81
3.2.4 Kafka的核心特性 83
3.3 数据采集案例实验 86
3.3.1 从本地采集静态日志保存到HDFS 86
3.3.2 从本地采集静态日志保存到Kafka 92
3.3.3 从Kafka客户端采集日志经Flume客户端保存到HDFS 94
第4章　大数据存储组件 99
4.1 HDFS分布式文件系统 100
4.1.1 HDFS简介 100
4.1.2 HDFS的架构 102
4.1.3 HDFS的安全机制 103
4.1.4 HDFS的数据读写流程 108
4.1.5 HDFS的数据存储策略 110
4.2 HBase分布式数据库 113
4.2.1 HBase简介 113
4.2.2 HBase的架构 114
4.2.3 HBase的读写流程 119
4.2.4 HBase的增强特性 121
4.3 Hive数据仓库技术 123
4.3.1 Hive简介 123
4.3.2 Hive的功能与优缺点 124
4.3.3 Hive的架构 125
4.3.4 Hive的增强特性 127
4.4 数据存储案例实验 128
4.4.1 HDFS操作基础 128
4.4.2 HBase预分Region表 132
4.4.3 Hive文件合并与列加密 135
第5章　大数据计算与处理组件 139
5.1 MapReduce离线计算引擎 140
5.1.1 MapReduce简介 140
5.1.2 Yarn简介 142
5.1.3 MapReduce执行过程详解 146
5.1.4 Yarn的资源分配与容量调度器 148
5.2 Spark基于内存的计算引擎* 149
5.2.1 Spark简介 149
5.2.2 Spark Core技术原理 151
5.2.3 Structured Streaming和Spark Streaming技术原理 156
5.3 Streaming分布式流计算引擎* 158
5.3.1 Streaming简介 159
5.3.2 Streaming 执行流程 160
5.3.3 Streaming 系统特性 161
5.4 大数据计算与处理案例实验 163
5.4.1 基于MapReduce的词频统计代码开发 163
5.4.2 基于Steaming的词频分析和统计 170
第三篇 大数据实践篇
第6章　大数据综合实验案例* 178
6.1 集群综合实验1 178
6.6.1 方案1 178
6.6.2 方案2 189
6.2 集群综合实验2 194

附录 207
参考文献 215