目 录




第一部分 大数据平台安装
第1章 平台操作系统的使用 3
1.1 Linux操作系统概述 3
1.1.1 Linux操作系统的起源 3
1.1.2 Linux操作系统的特点 4
1.1.3 Linux操作系统的应用场景 5
1.1.4 Linux版本 6
1.2 Linux常用命令 7
1.2.1 文件与目录操作 7
1.2.2 用户操作 9
1.2.3 文本操作 10
1.2.4 系统操作 11
1.3　Linux操作系统用户信息 14
1.3.1 用户和组 14
1.3.2 文件类型和权限 15
1.4 本章小结 17
第2章 Hadoop平台安装 18
2.1 Hadoop概述 18
2.1.1 Hadoop的起源 18
2.1.2 Hadoop的生态圈 19
2.1.3 Hadoop的版本 21
2.1.4 Hadoop的优点 22
2.1.5 Hadoop的应用场景 22
2.1.6 Hadoop的运行模式 23
2.2　Hadoop的核心组件 23
2.2.1 HDFS 23
2.2.2 MapReduce 26
2.2.3 YARN 28
2.3 平台操作系统环境设置 29
2.3.1 配置Linux操作系统基础
环境 30
2.3.2 安装Java环境 32
2.4　安装Hadoop软件 35
2.4.1 获取Hadoop安装包 35
2.4.2 安装Hadoop软件 35
2.4.3　修改目录所有者和所有者组 36
2.5　安装单机版Hadoop系统 36
2.5.1　配置Hadoop配置文件 37
2.5.2 测试Hadoop本地模式的
运行 37
2.6　本章小结 38
第3章 平台基础环境配置 39
3.1 集群网络连接 39
3.1.1 实验环境下的大数据Hadoop
平台集群网络 39
3.1.2 生产环境下的大数据Hadoop
平台集群网络 40
3.2 SSH无密码登录 41
3.2.1 SSH简介 41
3.2.2 SSH特点介绍 41
3.2.3 非对称加密机制 42
3.2.4 SSH安全机制 42
3.2.5 SSH基于口令的安全验证 43
3.2.6 基于密钥的安全验证 43
3.3 集群网络配置 44
3.3.1 实验环境下的集群网络配置 44
3.3.2 生产环境下的集群网络配置 44
3.4　SSH无密码验证配置 47
3.4.1 生成SSH密钥 47
3.4.2 交换SSH密钥 49
3.4.3 验证SSH无密码登录 50
3.5　本章小结 51
第二部分 大数据平台配置
第4章 Hadoop文件参数配置 55
4.1 Hadoop配置文件说明 55
4.1.1 Hadoop环境配置 55
4.1.2 Hadoop守护进程环境配置 56
4.1.3 Hadoop配置参数格式 57
4.1.4 获得Hadoop集群全部配置
信息 57
4.2 在master节点上安装Hadoop 58
4.3 配置hdfs-site.xml文件参数 58
4.4 配置core-site.xml文件参数 59
4.5 配置mapred-site.xml 60
4.6 配置yarn-site.xml 61
4.7 Hadoop其他相关配置 62
4.8　本章小结 63
第5章 Hadoop集群运行 64
5.1　Hadoop运行状态 64
5.2 配置Hadoop格式化 68
5.3　查看Java进程 69
5.4　查看HDFS的报告 70
5.5　使用浏览器查看节点状态 71
5.6　停止Hadoop 74
5.7　本章小结 74
第三部分 大数据平台组件的安装与配置
第6章 Hive组件的安装与配置 77
6.1 Hive相关知识 77
6.2　Hive组件架构 78
6.3 下载和解压安装文件 79
6.3.1 基础环境和安装准备 79
6.3.2 解压安装文件 79
6.4 设置Hive环境 80
6.4.1 卸载MariaDB数据库 80
6.4.2 安装MySQL数据库 80
6.4.3 配置Hive组件 85
6.5 初始化Hive元数据 87
6.6 启动Hive 89
6.7 本章小结 89
第7章 HBase组件的安装与配置 90
7.1 HBase相关知识 90
7.2　HBase功能应用 91
7.3　HBase组件设置 92
7.4　HBase安装与配置 94
7.5　HBase常用Shell命令 98
7.6　本章小结 101
第8章 ZooKeeper组件的安装与配置 102
8.1　ZooKeeper相关知识 102
8.1.1　ZooKeeper的重要概念 103
8.1.2　ZooKeeper的特点 104
8.2　ZooKeeper选项设置 104
8.3 ZooKeeper角色选举 105
8.4 下载和安装ZooKeeper 105
8.5 ZooKeeper的配置选项 106
8.5.1 master节点配置 106
8.5.2 slave节点配置 106
8.5.3 系统环境变量配置 106
8.6 启动ZooKeeper 107
8.7 本章小结 107
第9章 Sqoop组件的安装与配置 108
9.1 Sqoop相关知识 108
9.2 Sqoop的功能应用 109
9.2.1 Sqoop架构 109
9.2.2 Sqoop导入原理 109
9.2.3 Sqoop导出原理 110
9.3 下载和解压Sqoop 112
9.4 配置Sqoop环境 112
9.5 启动Sqoop 113
9.6 Sqoop模板命令 114
9.7 Sqoop组件应用 116
9.8 本章小结 117
第10章 Flume组件的安装与配置 118
10.1 Flume相关知识 118
10.2 Flume功能应用 119
10.2.1 Flume功能 119
10.2.2 Flume结构 119
10.3 Flume组件设置 119
10.4 下载和解压Flume 120
10.5 Flume组件部署 121
10.6 使用Flume发送和接收
信息 121
10.7 本章小结 122
第四部分 大数据平台实施
第11章 大数据平台实施方案的理解 125
11.1 系统实施方案概述 125
11.1.1 方案概述 125
11.1.2 项目实施思路 126
11.1.3 项目实施流程 126
11.2 确认客户需求 127
11.2.1 确认需求分析准备 127
11.2.2 进行确认需求调研 127
11.2.3 系统详细需求分析 129
11.3 编写大数据平台实施方案 129
11.3.1 大数据平台规划 129
11.3.2 大数据平台部署 131
11.3.3 项目实施计划 131
11.3.4 项目实施人员 132
11.4 执行实施方案过程 133
11.4.1 实施内容 133__e