项目1 基础环境的搭建与配置 1__eol__任务1.1 搭建虚拟机 2__eol__1.1.1 安装虚拟机软件 2__eol__1.1.2 安装master节点虚拟机 4__eol__1.1.3 配置master节点的网络 7__eol__1.1.4 克隆slave节点 10__eol__任务1.2 配置连接工具 13__eol__1.2.1 测试Windows操作系统连接虚拟机 14__eol__1.2.2 使用Xshell工具 15__eol__1.2.3 使用Xftp工具 18__eol__任务1.3 配置Hadoop平台基础环境 20__eol__1.3.1 设置服务器的主机名 20__eol__1.3.2 关闭并禁用防火墙 21__eol__1.3.3 修改主机IP地址映射文件 23__eol__1.3.4 配置SSH免密登录 24__eol__1.3.5 设置集群时间同步 29__eol__1.3.6 安装Java环境 32__eol__项目总结 35__eol__项目2 Hadoop完全分布式的搭建与运行 36__eol__任务2.1 搭建Hadoop完全分布式集群 37__eol__任务2.2 运行Hadoop集群 46__eol__2.2.1 格式化NameNode 46__eol__2.2.2 启动和关闭Hadoop集群 47__eol__2.2.3 使用浏览器查看节点状态 49__eol__项目总结 50__eol__项目3 Hadoop核心组件的应用案例 51__eol__任务3.1 Hadoop Java API读取序列化日志文件 51__eol__3.1.1 配置开发环境 52__eol__3.1.2 创建Maven工程 55__eol__3.1.3 读取序列化文件 57__eol__任务3.2 预测M电影网站用户性别 60__eol__3.2.1 获取数据 61__eol__3.2.2 数据变换 62__eol__3.2.3 数据清洗 77__eol__3.2.4 划分数据集 79__eol__3.2.5 实现用户性别聚类 83__eol__项目总结 91__eol__项目4 Hive组件的安装、配置与应用 92__eol__任务4.1 安装与配置MySQL数据库 93__eol__4.1.1 安装MySQL数据库 93__eol__4.1.2 配置MySQL数据库 96__eol__任务4.2 安装与配置Hive组件 99__eol__4.2.1 安装Hive组件 99__eol__4.2.2 配置Hive环境 101__eol__4.2.3 初始化Hive数据库 103__eol__任务4.3 Hive Shell的基本操作 104__eol__4.3.1 启动Hive 105__eol__4.3.2 操作Hive数据库 105__eol__4.3.3 操作Hive内部表 106__eol__任务4.4 统计分析餐饮数据 110__eol__4.4.1 数据说明 110__eol__4.4.2 创建表并导入数据 111__eol__4.4.3 统计分析任务实现 112__eol__项目总结 117__eol__项目5 ZooKeeper的安装、配置与应用 118__eol__任务5.1 分布式搭建部署与管理ZooKeeper 119__eol__5.1.1 在master节点上安装ZooKeeper组件 119__eol__5.1.2 在master节点上配置ZooKeeper组件 121__eol__5.1.3 在slave节点上安装与配置ZooKeeper组件 122__eol__5.1.4 管理ZooKeeper服务 123__eol__任务5.2 监控服务器上下线动态 124__eol__5.2.1 创建Maven工程并连接ZooKeeper集群 125__eol__5.2.2 任务实现 125__eol__项目总结 128__eol__项目6 HBase的安装、配置与应用 129__eol__任务6.1 安装与配置HBase 130__eol__6.1.1 在master节点上安装HBase组件 130__eol__6.1.2 在master节点上修改配置文件 132__eol__6.1.3 在slave节点上安装HBase组件 134__eol__6.1.4 启动HBase集群 134__eol__任务6.2 HBase Shell的基本操作 136__eol__6.2.1 应用HBase Shell 136__eol__6.2.2 操作HBase表 138__eol__6.2.3 操作HBase数据 139__eol__任务6.3 设计手游信息的数据存储 141__eol__6.3.1 设计表结构 142__eol__6.3.2 创建表结构 142__eol__6.3.3 设计业务逻辑 147__eol__项目总结 156__eol__项目7 Sqoop组件的安装、配置与应用 157__eol__任务7.1 安装与配置Sqoop组件 158__eol__7.1.1 安装Sqoop组件 158__eol__7.1.2 修改Sqoop组件配置文件 160__eol__7.1.3 测试Sqoop组件的安装情况 161__eol__任务7.2 Sqoop组件的导入与导出应用操作 162__eol__7.2.1 准备MySQL数据库数据 162__eol__7.2.2 在Hive中准备表 163__eol__7.2.3 将MySQL数据库中的数据导入Hive 164__eol__7.2.4 将MySQL数据库中的数据导入HDFS 165__eol__7.2.5 从Hive中导出数据至MySQL数据库 168__eol__任务7.3 查询与传输用户日志数据 170__eol__7.3.1 查询MySQL数据库的用户日志数据表中的记录数 170__eol__7.3.2 增量导入MySQL数据库中的用户日志数据至Hive 171__eol__7.3.3 导出Hive中的浏览信息筛选结果至MySQL数据库 172__eol__项目总结 173__eol__项目8 Flume组件的安装、配置与应用 174__eol__任务8.1 安装与配置Flume组件 175__eol__8.1.1 安装Flume组件 175__eol__8.1.2 配置Flume组件 177__eol__8.1.3 创建代理配置文件 178__eol__8.1.4 启动Flume并传输数据 179__eol__8.1.5 查看Flume传输的文件数据 179__eol__任务8.2 广告日志数据采集系统 180__eol__8.2.1 采集系统日志数据 182__eol__8.2.2 采集广告曝光日志数据 183__eol__项目总结 186__eol__项目9 Kafka的安装、配置与应用 187__eol__任务9.1 安装与配置Kafka 188__eol__9.1.1 在master节点上安装与配置Kafka组件 188__eol__9.1.2 在slave节点上安装Kafka组件 190__eol__9.1.3 管理Kafka服务 191__eol__9.1.4 演示Kafka分布式发布订阅消息 192__eol__任务9.2 实时传输广告日志数据 194__eol__9.2.1 创建脚本文件 194__eol__9.2.2 创建Kafka主题 196__eol__9.2.3 Flume采集日志 196__eol__项目总结 198__eol__项目10 Spark的安装、配置与应用 199__eol__任务10.1 安装与配置Scala 200__eol__10.1.1 在master节点上安装Scala 200__eol__10.1.2 在slave节点上安装Scala 202__eol__10.1.3 测试Scala的安装情况 202__eol__任务10.2 安装与配置Spark组件 203__eol__10.2.1 在master节点上安装Spark组件 203__eol__10.2.2 修改Spark配置文件 205__eol__10.2.3 在slave节点上安装Spark组件 206__eol__10.2.4 运行Spark集群 206__eol__任务10.3 应用举例spark-shell 208__eol__10.3.1 上传数据文件 208__eol__10.3.2 运行spark-shell单词统计程序 209__eol__任务10.4 聚类分析超市客户 212__eol__10.4.1 安装Scala插件 212__eol__10.4.2 配置Spark运行环境 214__eol__10.4.3 探索数据与构建特征 217__eol__10.4.4 保存数据至Hive 221__eol__10.4.5 构建K-means聚类模型 221__eol__项目总结 224__eol__项目11 广电大数据用户画像 225__eol__任务11.1 说明与存储数据 225__eol__任务11.2 数据探索与数据预处理 231__eol__11.2.1 总体