目 录__eol____eol____eol____eol__ __eol__第一部分 大数据平台安装__eol__第1章 平台操作系统的使用 3__eol__1.1 Linux操作系统概述 3__eol__1.1.1 Linux操作系统的起源 3__eol__1.1.2 Linux操作系统的特点 4__eol__1.1.3 Linux操作系统的应用场景 5__eol__1.1.4 Linux版本 6__eol__1.2 Linux常用命令 7__eol__1.2.1 文件与目录操作 7__eol__1.2.2 用户操作 9__eol__1.2.3 文本操作 10__eol__1.2.4 系统操作 11__eol__1.3　Linux操作系统用户信息 14__eol__1.3.1 用户和组 14__eol__1.3.2 文件类型和权限 15__eol__1.4 本章小结 17__eol__第2章 Hadoop平台安装 18__eol__2.1 Hadoop概述 18__eol__2.1.1 Hadoop的起源 18__eol__2.1.2 Hadoop的生态圈 19__eol__2.1.3 Hadoop的版本 21__eol__2.1.4 Hadoop的优点 22__eol__2.1.5 Hadoop的应用场景 22__eol__2.1.6 Hadoop的运行模式 23__eol__2.2　Hadoop的核心组件 23__eol__2.2.1 HDFS 23__eol__2.2.2 MapReduce 26__eol__2.2.3 YARN 28__eol__2.3 平台操作系统环境设置 29__eol__2.3.1 配置Linux操作系统基础__eol__环境 30__eol__2.3.2 安装Java环境 32__eol__2.4　安装Hadoop软件 35__eol__2.4.1 获取Hadoop安装包 35__eol__2.4.2 安装Hadoop软件 35__eol__2.4.3　修改目录所有者和所有者组 36__eol__2.5　安装单机版Hadoop系统 36__eol__2.5.1　配置Hadoop配置文件 37__eol__2.5.2 测试Hadoop本地模式的__eol__运行 37__eol__2.6　本章小结 38__eol__第3章 平台基础环境配置 39__eol__3.1 集群网络连接 39__eol__3.1.1 实验环境下的大数据Hadoop__eol__平台集群网络 39__eol__3.1.2 生产环境下的大数据Hadoop__eol__平台集群网络 40__eol__3.2 SSH无密码登录 41__eol__3.2.1 SSH简介 41__eol__3.2.2 SSH特点介绍 41__eol__3.2.3 非对称加密机制 42__eol__3.2.4 SSH安全机制 42__eol__3.2.5 SSH基于口令的安全验证 43__eol__3.2.6 基于密钥的安全验证 43__eol__3.3 集群网络配置 44__eol__3.3.1 实验环境下的集群网络配置 44__eol__3.3.2 生产环境下的集群网络配置 44__eol__3.4　SSH无密码验证配置 47__eol__3.4.1 生成SSH密钥 47__eol__3.4.2 交换SSH密钥 49__eol__3.4.3 验证SSH无密码登录 50__eol__3.5　本章小结 51__eol__第二部分 大数据平台配置__eol__第4章 Hadoop文件参数配置 55__eol__4.1 Hadoop配置文件说明 55__eol__4.1.1 Hadoop环境配置 55__eol__4.1.2 Hadoop守护进程环境配置 56__eol__4.1.3 Hadoop配置参数格式 57__eol__4.1.4 获得Hadoop集群全部配置__eol__信息 57__eol__4.2 在master节点上安装Hadoop 58__eol__4.3 配置hdfs-site.xml文件参数 58__eol__4.4 配置core-site.xml文件参数 59__eol__4.5 配置mapred-site.xml 60__eol__4.6 配置yarn-site.xml 61__eol__4.7 Hadoop其他相关配置 62__eol__4.8　本章小结 63__eol__第5章 Hadoop集群运行 64__eol__5.1　Hadoop运行状态 64__eol__5.2 配置Hadoop格式化 68__eol__5.3　查看Java进程 69__eol__5.4　查看HDFS的报告 70__eol__5.5　使用浏览器查看节点状态 71__eol__5.6　停止Hadoop 74__eol__5.7　本章小结 74__eol__第三部分 大数据平台组件的安装与配置__eol__第6章 Hive组件的安装与配置 77__eol__6.1 Hive相关知识 77__eol__6.2　Hive组件架构 78__eol__6.3 下载和解压安装文件 79__eol__6.3.1 基础环境和安装准备 79__eol__6.3.2 解压安装文件 79__eol__6.4 设置Hive环境 80__eol__6.4.1 卸载MariaDB数据库 80__eol__6.4.2 安装MySQL数据库 80__eol__6.4.3 配置Hive组件 85__eol__6.5 初始化Hive元数据 87__eol__6.6 启动Hive 89__eol__6.7 本章小结 89__eol__第7章 HBase组件的安装与配置 90__eol__7.1 HBase相关知识 90__eol__7.2　HBase功能应用 91__eol__7.3　HBase组件设置 92__eol__7.4　HBase安装与配置 94__eol__7.5　HBase常用Shell命令 98__eol__7.6　本章小结 101__eol__第8章 ZooKeeper组件的安装与配置 102__eol__8.1　ZooKeeper相关知识 102__eol__8.1.1　ZooKeeper的重要概念 103__eol__8.1.2　ZooKeeper的特点 104__eol__8.2　ZooKeeper选项设置 104__eol__8.3 ZooKeeper角色选举 105__eol__8.4 下载和安装ZooKeeper 105__eol__8.5 ZooKeeper的配置选项 106__eol__8.5.1 master节点配置 106__eol__8.5.2 slave节点配置 106__eol__8.5.3 系统环境变量配置 106__eol__8.6 启动ZooKeeper 107__eol__8.7 本章小结 107__eol__第9章 Sqoop组件的安装与配置 108__eol__9.1 Sqoop相关知识 108__eol__9.2 Sqoop的功能应用 109__eol__9.2.1 Sqoop架构 109__eol__9.2.2 Sqoop导入原理 109__eol__9.2.3 Sqoop导出原理 110__eol__9.3 下载和解压Sqoop 112__eol__9.4 配置Sqoop环境 112__eol__9.5 启动Sqoop 113__eol__9.6 Sqoop模板命令 114__eol__9.7 Sqoop组件应用 116__eol__9.8 本章小结 117__eol__第10章 Flume组件的安装与配置 118__eol__10.1 Flume相关知识 118__eol__10.2 Flume功能应用 119__eol__10.2.1 Flume功能 119__eol__10.2.2 Flume结构 119__eol__10.3 Flume组件设置 119__eol__10.4 下载和解压Flume 120__eol__10.5 Flume组件部署 121__eol__10.6 使用Flume发送和接收__eol__信息 121__eol__10.7 本章小结 122__eol__第四部分 大数据平台实施__eol__第11章 大数据平台实施方案的理解 125__eol__11.1 系统实施方案概述 125__eol__11.1.1 方案概述 125__eol__11.1.2 项目实施思路 126__eol__11.1.3 项目实施流程 126__eol__11.2 确认客户需求 127__eol__11.2.1 确认需求分析准备 127__eol__11.2.2 进行确认需求调研 127__eol__11.2.3 系统详细需求分析 129__eol__11.3 编写大数据平台实施方案 129__eol__11.3.1 大数据平台规划 129__eol__11.3.2 大数据平台部署 131__eol__11.3.3 项目实施计划 131__eol__11.3.4 项目实施人员 132__eol__11.4 执行实施方案过程 133__eol__11.4.1 实施内容 133__e