- 中国铁道出版社
- 9787113324926
- 1-1
- 2026-04
- 工学
- 电子信息类
- 电子与信息大类
- 计算机类
- 本科
作者简介
内容简介
本书依据高等院校人才培养目标和Hadoop课程教学大纲编写。本书立足于大数据技术的理论与实践，以“从零到一构建企业级数据仓库”为主线，系统地讲解大数据技术栈的核心组件、数据建模方法论及行业级应用实践。具体内容包括大数据与Hadoop、Hadoop集群搭建及配置、Hadoop核心组件、Hive数据仓库、数据采集与预处理、数据仓库建模，最后通过“在线教育数据仓库建模实践”这个真实项目串联全书知识点，从业务调研、数据采集、数仓分层设计到数据报表导出与可视化，完整还原企业级数据仓库的搭建流程，以强化工程化思维。
目录
第1 章 大数据与Hadoop ..............................................................................1
1.1 大数据概述 ..............................................................................................................1
1.1.1 大数据时代 ............................................................................................................... 1
1.1.2 大数据应用 ............................................................................................................... 3
1.2 Hadoop 简介 ...........................................................................................................4
1.2.1 什么是Hadoop ......................................................................................................... 4
1.2.2 Hadoop 版本 ............................................................................................................. 5
1.2.3 Hadoop 核心组件 ..................................................................................................... 5
1.3 Hadoop 生态圈 ........................................................................................................6
小 结 ..........................................................................................................................8
习 题 ..........................................................................................................................9
第2 章 Hadoop 集群搭建及配置 ..................................................................10
2.1 Linux 环境搭建 ......................................................................................................10
2.1.1 虚拟机安装 ............................................................................................................. 11
2.1.2 虚拟机网络配置 ..................................................................................................... 19
2.1.3 模板虚拟机配置 ..................................................................................................... 23
2.1.4 模板虚拟机克隆 ..................................................................................................... 24
2.2 完全分布式Hadoop 集群搭建 ...............................................................................26
2.2.1 Xshell 和Xftp 软件安装 ........................................................................................ 26
2.2.2 JDK 和Hadoop 安装 .............................................................................................. 32
2.2.3 SSH 免密登录 ......................................................................................................... 33
2.2.4 Hadoop 集群配置 ................................................................................................... 34
2.2.5 Hadoop 集群管理脚本 ........................................................................................... 38
2.3 Hadoop 集群初体验 ...............................................................................................41
2.3.1 Hadoop 集群启动 ................................................................................................... 41
2.3.2 Hadoop 单词统计 ................................................................................................... 43
小 结 ........................................................................................................................46
习 题 ........................................................................................................................46
第3 章 Hadoop 核心组件 ........................................................................... 48
3.1 分布式文件系统——HDFS ....................................................................................48
3.1.1 HDFS 基本架构 ...................................................................................................... 49
3.1.2 HDFS 的数据读写过程 .......................................................................................... 50
3.1.3 HDFS Shell 操作 .................................................................................................... 52
3.1.4 HDFS Java API 操作 .............................................................................................. 55
3.2 分布式计算框架MapReduce .................................................................................58
3.2.1 MapReduce 概述 ..................................................................................................... 58
3.2.2 MapReduce 工作流程 ............................................................................................. 60
3.2.3 MapReduce 任务调度模型 ..................................................................................... 61
3.2.4 MapReduce 编程组件 ............................................................................................. 62
3.2.5 MapReduce 编程实践 ............................................................................................. 65
3.3 集群资源管理系统——YARN ................................................................................71
3.3.1 YARN 基础架构 ..................................................................................................... 71
3.3.2 YARN 运行流程 ..................................................................................................... 73
3.3.3 YARN 资源隔离和调度 ......................................................................................... 73
3.3.4 YARN 常用命令 ..................................................................................................... 79
小 结 ........................................................................................................................81
习 题 ........................................................................................................................81
第4 章 Hive 数据仓库 ................................................................................ 83
4.1 数据仓库简介.........................................................................................................83
4.2 Hive 数据仓库搭建 ................................................................................................84
4.2.1 Hive 安装 ................................................................................................................ 84
4.2.2 启动Hive ................................................................................................................ 87
4.2.3 使用元数据服务方式访问Hive ............................................................................ 88
4.2.4 使用JDBC 方式访问Hive .................................................................................... 88
4.2.5 Hive 脚本启动Hive 服务 ...................................................................................... 89
4.3 Hive 数据库的基本操作 .........................................................................................90
4.4 Hive 数据表的基本操作 .........................................................................................93
4.5 Hive 分区表的基本操作 .......................................................................................100
4.6 Hive 分桶表的基本操作 .......................................................................................103
4.7 Hive 临时表的基本操作 .......................................................................................105
4.8 Hive 视图的基本操作 ...........................................................................................106
4.9 Hive 数据的基本操作 ...........................................................................................108
小 结 ...................................................................................................................... 119
习 题 ...................................................................................................................... 119
第5 章 数据采集与预处理 ...........................................................................120
5.1 数据采集 ..............................................................................................................120
5.1.1 用户行为数据采集 ............................................................................................... 120
5.1.2 业务数据采集 ....................................................................................................... 124
5.2 分布式协调服务Zookeeper .................................................................................125
5.2.1 Zookeeper 简介 ..................................................................................................... 125
5.2.2 Zookeeper 工作原理 ............................................................................................. 126
5.2.3 Zookeeper 选举和Watch 机制 ............................................................................. 128
5.2.4 Zookeeper 安装 ..................................................................................................... 131
5.2.5 Zookeeper 集群操作 ............................................................................................. 133
5.3 消息队列Kafka ....................................................................................................136
5.3.1 Kafka 简介 ............................................................................................................ 137
5.3.2 Kafka 组成 ............................................................................................................ 137
5.3.3 Kafka 安装 ............................................................................................................ 142
5.3.4 Kafka 操作 ............................................................................................................ 144
5.4 日志采集Flume ...................................................................................................145
5.4.1 Flume 简介 ............................................................................................................ 146
5.4.2 Flume 数据流结构模型 ........................................................................................ 147
5.4.3 Flume 安装 ............................................................................................................ 149
5.4.4 Flume 日志采集配置 ............................................................................................ 149
5.4.5 Flume 日志采集案例 ............................................................................................ 159
5.5 数据传输Sqoop ..................................................................................................164
5.5.1 Sqoop 简介 ............................................................................................................ 164
5.5.2 Sqoop 安装 ............................................................................................................ 165
5.5.3 Sqoop 数据导入导出 ............................................................................................ 167
小 结 ......................................................................................................................174
习 题 ......................................................................................................................174
第6 章 数据仓库建模 .................................................................................176
6.1 数据仓库理论.......................................................................................................176
6.1.1 数据建模概述 ....................................................................................................... 176
6.1.2 关系模型 ............................................................................................................... 177
6.1.3 维度模型 ............................................................................................................... 180
6.2 数据仓库建模理论 ...............................................................................................185
6.2.1 数据仓库名词概念 ............................................................................................... 185
6.2.2 数据仓库分层 ....................................................................................................... 186
6.2.3 数据仓库开发规范 ............................................................................................... 187
6.3 数据仓库搭建流程 ...............................................................................................189
6.4 数据可视化 ..........................................................................................................196
6.4.1 Superset 简介与安装 ............................................................................................ 196
6.4.2 Superset 使用 ........................................................................................................ 200
小 结 ......................................................................................................................205
习 题 ......................................................................................................................205
第7 章 在线教育数据仓库建模实践 ............................................................. 207
7.1 项目概述 ..............................................................................................................207
7.1.1 在线教育概述 ....................................................................................................... 207
7.1.2 系统架构设计 ....................................................................................................... 208
7.1.3 数据来源 ............................................................................................................... 208
7.2 数据采集 ..............................................................................................................209
7.3 数据仓库搭建.......................................................................................................212
7.3.1 业务调研 ............................................................................................................... 212
7.3.2 ODS 层设计 .......................................................................................................... 213
7.3.3 DWD 层设计 ........................................................................................................ 215
7.3.4 DWS 层设计 ......................................................................................................... 220
7.3.5 ADS 层设计 .......................................................................................................... 221
7.4 数据报表导出.......................................................................................................226
7.4.1 创建MySQL 数据库表 ........................................................................................ 227
7.4.2 Sqoop 数据导出 .................................................................................................... 227
7.5 数据仓库可视化 ...................................................................................................228
小 结 ......................................................................................................................232
1.1 大数据概述 ..............................................................................................................1
1.1.1 大数据时代 ............................................................................................................... 1
1.1.2 大数据应用 ............................................................................................................... 3
1.2 Hadoop 简介 ...........................................................................................................4
1.2.1 什么是Hadoop ......................................................................................................... 4
1.2.2 Hadoop 版本 ............................................................................................................. 5
1.2.3 Hadoop 核心组件 ..................................................................................................... 5
1.3 Hadoop 生态圈 ........................................................................................................6
小 结 ..........................................................................................................................8
习 题 ..........................................................................................................................9
第2 章 Hadoop 集群搭建及配置 ..................................................................10
2.1 Linux 环境搭建 ......................................................................................................10
2.1.1 虚拟机安装 ............................................................................................................. 11
2.1.2 虚拟机网络配置 ..................................................................................................... 19
2.1.3 模板虚拟机配置 ..................................................................................................... 23
2.1.4 模板虚拟机克隆 ..................................................................................................... 24
2.2 完全分布式Hadoop 集群搭建 ...............................................................................26
2.2.1 Xshell 和Xftp 软件安装 ........................................................................................ 26
2.2.2 JDK 和Hadoop 安装 .............................................................................................. 32
2.2.3 SSH 免密登录 ......................................................................................................... 33
2.2.4 Hadoop 集群配置 ................................................................................................... 34
2.2.5 Hadoop 集群管理脚本 ........................................................................................... 38
2.3 Hadoop 集群初体验 ...............................................................................................41
2.3.1 Hadoop 集群启动 ................................................................................................... 41
2.3.2 Hadoop 单词统计 ................................................................................................... 43
小 结 ........................................................................................................................46
习 题 ........................................................................................................................46
第3 章 Hadoop 核心组件 ........................................................................... 48
3.1 分布式文件系统——HDFS ....................................................................................48
3.1.1 HDFS 基本架构 ...................................................................................................... 49
3.1.2 HDFS 的数据读写过程 .......................................................................................... 50
3.1.3 HDFS Shell 操作 .................................................................................................... 52
3.1.4 HDFS Java API 操作 .............................................................................................. 55
3.2 分布式计算框架MapReduce .................................................................................58
3.2.1 MapReduce 概述 ..................................................................................................... 58
3.2.2 MapReduce 工作流程 ............................................................................................. 60
3.2.3 MapReduce 任务调度模型 ..................................................................................... 61
3.2.4 MapReduce 编程组件 ............................................................................................. 62
3.2.5 MapReduce 编程实践 ............................................................................................. 65
3.3 集群资源管理系统——YARN ................................................................................71
3.3.1 YARN 基础架构 ..................................................................................................... 71
3.3.2 YARN 运行流程 ..................................................................................................... 73
3.3.3 YARN 资源隔离和调度 ......................................................................................... 73
3.3.4 YARN 常用命令 ..................................................................................................... 79
小 结 ........................................................................................................................81
习 题 ........................................................................................................................81
第4 章 Hive 数据仓库 ................................................................................ 83
4.1 数据仓库简介.........................................................................................................83
4.2 Hive 数据仓库搭建 ................................................................................................84
4.2.1 Hive 安装 ................................................................................................................ 84
4.2.2 启动Hive ................................................................................................................ 87
4.2.3 使用元数据服务方式访问Hive ............................................................................ 88
4.2.4 使用JDBC 方式访问Hive .................................................................................... 88
4.2.5 Hive 脚本启动Hive 服务 ...................................................................................... 89
4.3 Hive 数据库的基本操作 .........................................................................................90
4.4 Hive 数据表的基本操作 .........................................................................................93
4.5 Hive 分区表的基本操作 .......................................................................................100
4.6 Hive 分桶表的基本操作 .......................................................................................103
4.7 Hive 临时表的基本操作 .......................................................................................105
4.8 Hive 视图的基本操作 ...........................................................................................106
4.9 Hive 数据的基本操作 ...........................................................................................108
小 结 ...................................................................................................................... 119
习 题 ...................................................................................................................... 119
第5 章 数据采集与预处理 ...........................................................................120
5.1 数据采集 ..............................................................................................................120
5.1.1 用户行为数据采集 ............................................................................................... 120
5.1.2 业务数据采集 ....................................................................................................... 124
5.2 分布式协调服务Zookeeper .................................................................................125
5.2.1 Zookeeper 简介 ..................................................................................................... 125
5.2.2 Zookeeper 工作原理 ............................................................................................. 126
5.2.3 Zookeeper 选举和Watch 机制 ............................................................................. 128
5.2.4 Zookeeper 安装 ..................................................................................................... 131
5.2.5 Zookeeper 集群操作 ............................................................................................. 133
5.3 消息队列Kafka ....................................................................................................136
5.3.1 Kafka 简介 ............................................................................................................ 137
5.3.2 Kafka 组成 ............................................................................................................ 137
5.3.3 Kafka 安装 ............................................................................................................ 142
5.3.4 Kafka 操作 ............................................................................................................ 144
5.4 日志采集Flume ...................................................................................................145
5.4.1 Flume 简介 ............................................................................................................ 146
5.4.2 Flume 数据流结构模型 ........................................................................................ 147
5.4.3 Flume 安装 ............................................................................................................ 149
5.4.4 Flume 日志采集配置 ............................................................................................ 149
5.4.5 Flume 日志采集案例 ............................................................................................ 159
5.5 数据传输Sqoop ..................................................................................................164
5.5.1 Sqoop 简介 ............................................................................................................ 164
5.5.2 Sqoop 安装 ............................................................................................................ 165
5.5.3 Sqoop 数据导入导出 ............................................................................................ 167
小 结 ......................................................................................................................174
习 题 ......................................................................................................................174
第6 章 数据仓库建模 .................................................................................176
6.1 数据仓库理论.......................................................................................................176
6.1.1 数据建模概述 ....................................................................................................... 176
6.1.2 关系模型 ............................................................................................................... 177
6.1.3 维度模型 ............................................................................................................... 180
6.2 数据仓库建模理论 ...............................................................................................185
6.2.1 数据仓库名词概念 ............................................................................................... 185
6.2.2 数据仓库分层 ....................................................................................................... 186
6.2.3 数据仓库开发规范 ............................................................................................... 187
6.3 数据仓库搭建流程 ...............................................................................................189
6.4 数据可视化 ..........................................................................................................196
6.4.1 Superset 简介与安装 ............................................................................................ 196
6.4.2 Superset 使用 ........................................................................................................ 200
小 结 ......................................................................................................................205
习 题 ......................................................................................................................205
第7 章 在线教育数据仓库建模实践 ............................................................. 207
7.1 项目概述 ..............................................................................................................207
7.1.1 在线教育概述 ....................................................................................................... 207
7.1.2 系统架构设计 ....................................................................................................... 208
7.1.3 数据来源 ............................................................................................................... 208
7.2 数据采集 ..............................................................................................................209
7.3 数据仓库搭建.......................................................................................................212
7.3.1 业务调研 ............................................................................................................... 212
7.3.2 ODS 层设计 .......................................................................................................... 213
7.3.3 DWD 层设计 ........................................................................................................ 215
7.3.4 DWS 层设计 ......................................................................................................... 220
7.3.5 ADS 层设计 .......................................................................................................... 221
7.4 数据报表导出.......................................................................................................226
7.4.1 创建MySQL 数据库表 ........................................................................................ 227
7.4.2 Sqoop 数据导出 .................................................................................................... 227
7.5 数据仓库可视化 ...................................................................................................228
小 结 ......................................................................................................................232
