项目 1　 Linux 系统 ……………………………………………………………………………………………… 1 　 　 任务 1.1　 Linux 系统基础 ………………………………………………………………………………… 2 　 　 任务 1.2　 Linux 基础命令 ………………………………………………………………………………… 6 　 　 任务 1.3　 Linux 系统安装 ………………………………………………………………………………… 11 　 　 实训 1　 安装和配置 Linux 系统…………………………………………………………………………… 13 项目 2　 Hadoop 基础 …………………………………………………………………………………………… 27 　 　 任务 2.1　 认识大数据 …………………………………………………………………………………… 28 　 　 任务 2.2　 Hadoop 简介 …………………………………………………………………………………… 32 　 　 实训 2　 Hadoop 环境搭建 ………………………………………………………………………………… 36 项目 3　 HDFS 原理详解………………………………………………………………………………………… 66 　 　 任务 3.1　 HDFS 相关概念 ………………………………………………………………………………… 67 　 　 任务 3.2　 HDFS 相关操作 ………………………………………………………………………………… 73 　 　 任务 3.3　 搭建 HDFS ……………………………………………………………………………………… 78 　 　 实训 3　 HDFS 基础编程…………………………………………………………………………………… 83 项目 4　 MapReduce 基础编程 ………………………………………………………………………………… 95 　 　 任务 4.1　 MapReduce 相关概念…………………………………………………………………………… 96 　 　 任务 4.2　 YARN 框架 …………………………………………………………………………………… 101 　 　 实训 4　 MapReduce 项目示例 …………………………………………………………………………… 103 项目 5　 ZooKeeper 分布式协调服务 ………………………………………………………………………… 111 　 　 任务 5.1　 ZooKeeper 基础………………………………………………………………………………… 112 　 　 任务 5.2　 ZooKeeper 的操作……………………………………………………………………………… 115 　 　 实训 5　 搭建基于 ZooKeeper 的高可用集群 …………………………………………………………… 123 项目 6　 Hive 数据仓库框架 …………………………………………………………………………………… 135 　 　 任务 6.1　 Hive 基础 ……………………………………………………………………………………… 136 　 　 任务 6.2　 Hive 表及其操作 ……………………………………………………………………………… 145 　 　 任务 6.3　 数据迁移工具 Sqoop ………………………………………………………………………… 152 　 　 实训 6　 Hive 的安装使用 ………………………………………………………………………………… 154 项目 7　 分布式列式数据库———HBase ……………………………………………………………………… 162 　 　 任务 7.1　 NoSQL 与 HBase 基础 ………………………………………………………………………… 163 Ⅴ)BEPPQ 　 　 任务 7.2　 HBase 相关操作 ……………………………………………………………………………… 168 　 　 实训 7　 HBase 环境安装配置 …………………………………………………………………………… 173 项目 8　 海量日志采集工具———Flume ……………………………………………………………………… 177 　 　 任务 8.1　 Flume 基础 …………………………………………………………………………………… 178 　 　 任务 8.2　 Flume 典型应用实例 ………………………………………………………………………… 182 　 　 实训 8　 Flume 安装与基于 exec 命令的数据收集 ……………………………………………………… 186 项目 9　 分布式消息队列———Kafka ………………………………………………………………………… 192 　 　 任务 9.1　 Kafka 概述 …………………………………………………………………………………… 193 　 　 任务 9.2　 Kafka 的主要组件 …………………………………………………………………………… 194 　 　 实训 9　 Kafka 集群标准化部署 ………………………………………………………………………… 196 项目 10　 快速且通用的集群计算系统———Spark …………………………………………………………… 201 　 　 任务 10.1　 Spark 概述 …………………………………………………………………………………… 202 　 　 任务 10.2　 RDD ………………………………………………………………………………………… 204 　 　 任务 10.3　 Spark 的作业运行机制 ……………………………………………………………………… 206 　 　 任务 10.4　 运行在 YARN 上的 Spark …………………………………………………………………… 207 　 　 实训 10　 Spark 环境搭建 ………………………………………………………………………………… 208 项目 11　 综合案例 …………………………………………………………………………………………… 217 　 　 任务 11.1　 网站用户行为分析 ………………………………………………………………………… 218 　 　 任务 11.2　 气象数据分析 ……………………………………………………………………………… 237 参考文献………………………………………………………………………………………………………… 249