大数据架构应用之Hadoop / 高等职业教育计算机教育新形态系列教材
定价：￥45.00
作者： 查欣，钱冲冲
出版时间：2025-08
最新印次日期：2025-8
出版社：中国铁道出版社
- 中国铁道出版社
- 9787113314934
- 1-1
- 572151
- 61265572-0
- 16开
- 2025-08
- 电子与信息大类
- 计算机类
- 计算机类
- 高职
作者简介
内容简介
本书为“高等职业教育计算机教育新形态系列教材”之一，围绕Hadoop生态圈相关系统介绍大数据处理架构，分为六个学习情境。学习情境一讲解Hadoop相关概念、集群的搭建；学习情境二讲解Hadoop分布式文件系统（HDFS）；学习情境三讲解MapReduce分布式计算框架的相关知识；学习情境四讲解Hive数据仓库的相关知识；学习情境五讲解Flume日志采集系统的基本知识；学习情境六介绍Zookeeper分布式协调服务。
本书内容讲解以课堂实训案例为主线。通过学习本书，学生能够掌握Hadoop生态圈的基本功能，提升对大数据架构的实际应用能力。本书附有案例的视频、源文件及效果文件，以利于教师授课、学生学习。
本书适合作为高等职业院校大数据技术专业的教材，也可供相关人员学习参考。
本书内容讲解以课堂实训案例为主线。通过学习本书，学生能够掌握Hadoop生态圈的基本功能，提升对大数据架构的实际应用能力。本书附有案例的视频、源文件及效果文件，以利于教师授课、学生学习。
本书适合作为高等职业院校大数据技术专业的教材，也可供相关人员学习参考。
目录
学习情境一Hadoop集群的搭建1
1.1学习情境描述1
1.2学习目标1
1.3Hadoop平台搭建的基础工作1
1.3.1项目引导1
1.3.2项目任务书2
1.3.3项目工作实施4
1.4实战演练——Hadoop集群搭建9
1.4.1实战演练一安装JDK9
1.4.2实战演练二安装Hadoop11
1.4.3实战演练三Hadoop集群配置11
1.4.4实战演练四Hadoop集群测试14
1.5项目总结报告17
1.6习题17
学习情境二HDFS分布式文件系统19
2.1学习情境描述19
2.2学习目标19
2.3HDFS的Shell操作19
2.3.1项目引导19
2.3.2项目任务书20
2.3.3HDFS的组成21
2.3.4HDFS的Shell操作24
2.4实战演练——HDFS的上传与下载28
2.4.1实战演练一搭建项目环境28
2.4.2实战演练二初始化客户端对象31
2.4.3实战演练三上传与下载文件到HDFS31
2.4.4实战演练四HDFS目录查看34
2.5项目总结报告37
2.6习题38
学习情境三MapReduce分布式计算框架40
3.1学习情境描述40
3.2学习目标40
3.3MapReduce基础工作41
3.3.1项目引导41
3.3.2项目任务书42
3.3.3MapReduce核心原理44
3.4实战演练——MapReduce程序开发与运行48
3.4.1实战演练一开发环境搭建（IDEA+Maven）48
3.4.2实战演练二WordCount单词统计案例实现50
3.4.3实战演练三MapReduce程序提交到集群运行54
3.4.4实战演练四程序运行日志分析与故障排查57
3.5项目总结报告60
3.6习题61
学习情境四YARN资源调度与管理63
4.1学习情境描述63
4.2学习目标63
4.3YARN基础工作64
4.3.1项目引导64
4.3.2项目任务书65
4.3.3YARN架构与核心组件67
4.4实战演练——YARN集群配置与任务调度70
4.4.1实战演练一YARN核心配置文件修改70
4.4.2实战演练二YARN集群启停与状态查看73
4.4.3实战演练三资源调度策略（FIFO/Capacity）配置75
4.4.4实战演练四YARNWeb界面（8088端口）监控与管理78
4.5项目总结报告80
4.6习题81
学习情境五Flume日志采集93
5.1学习情境描述93
5.2学习目标93
5.3Flume日志采集93
5.3.1项目引导93
5.3.2项目任务书95
5.3.3Flume安装97
5.4实战演练——Flume项目任务实施98
5.4.1实战演练一配置采集方案98
5.4.2实战演练二采集方案配置说明101
5.4.3实战演练三Flume可靠性保障之负载均衡设计108
5.4.4实战演练四Flume拦截器的应用与实战110
5.4.5实战演练五Flume采集方案综合案例实现112
5.5项目总结报告116
5.6习题117
学习情境六Zookeeper分布式协调服务118
6.1学习情境描述118
6.2学习目标118
6.3Zookeeper的基础工作119
6.3.1项目引导119
6.3.2项目任务书119
6.4认识Zookeeper120
6.4.1Zookeeper的诞生120
6.4.2Zookeeper的产生原因121
6.4.3Zookeeper的核心功能122
6.4.4Zookeeper集群角色123
6.5实战演练——Zookeeper分布式集群部署126
6.5.1实战演练一环境准备126
6.5.2实战演练二搭建Zookeeper集群127
6.5.3实战演练三启动Zookeeper集群129
6.6ZookeeperShell常用命令131
6.7Zookeeper的JavaAPI操作133
6.8项目总结报告139
6.9习题140
1.1学习情境描述1
1.2学习目标1
1.3Hadoop平台搭建的基础工作1
1.3.1项目引导1
1.3.2项目任务书2
1.3.3项目工作实施4
1.4实战演练——Hadoop集群搭建9
1.4.1实战演练一安装JDK9
1.4.2实战演练二安装Hadoop11
1.4.3实战演练三Hadoop集群配置11
1.4.4实战演练四Hadoop集群测试14
1.5项目总结报告17
1.6习题17
学习情境二HDFS分布式文件系统19
2.1学习情境描述19
2.2学习目标19
2.3HDFS的Shell操作19
2.3.1项目引导19
2.3.2项目任务书20
2.3.3HDFS的组成21
2.3.4HDFS的Shell操作24
2.4实战演练——HDFS的上传与下载28
2.4.1实战演练一搭建项目环境28
2.4.2实战演练二初始化客户端对象31
2.4.3实战演练三上传与下载文件到HDFS31
2.4.4实战演练四HDFS目录查看34
2.5项目总结报告37
2.6习题38
学习情境三MapReduce分布式计算框架40
3.1学习情境描述40
3.2学习目标40
3.3MapReduce基础工作41
3.3.1项目引导41
3.3.2项目任务书42
3.3.3MapReduce核心原理44
3.4实战演练——MapReduce程序开发与运行48
3.4.1实战演练一开发环境搭建（IDEA+Maven）48
3.4.2实战演练二WordCount单词统计案例实现50
3.4.3实战演练三MapReduce程序提交到集群运行54
3.4.4实战演练四程序运行日志分析与故障排查57
3.5项目总结报告60
3.6习题61
学习情境四YARN资源调度与管理63
4.1学习情境描述63
4.2学习目标63
4.3YARN基础工作64
4.3.1项目引导64
4.3.2项目任务书65
4.3.3YARN架构与核心组件67
4.4实战演练——YARN集群配置与任务调度70
4.4.1实战演练一YARN核心配置文件修改70
4.4.2实战演练二YARN集群启停与状态查看73
4.4.3实战演练三资源调度策略（FIFO/Capacity）配置75
4.4.4实战演练四YARNWeb界面（8088端口）监控与管理78
4.5项目总结报告80
4.6习题81
学习情境五Flume日志采集93
5.1学习情境描述93
5.2学习目标93
5.3Flume日志采集93
5.3.1项目引导93
5.3.2项目任务书95
5.3.3Flume安装97
5.4实战演练——Flume项目任务实施98
5.4.1实战演练一配置采集方案98
5.4.2实战演练二采集方案配置说明101
5.4.3实战演练三Flume可靠性保障之负载均衡设计108
5.4.4实战演练四Flume拦截器的应用与实战110
5.4.5实战演练五Flume采集方案综合案例实现112
5.5项目总结报告116
5.6习题117
学习情境六Zookeeper分布式协调服务118
6.1学习情境描述118
6.2学习目标118
6.3Zookeeper的基础工作119
6.3.1项目引导119
6.3.2项目任务书119
6.4认识Zookeeper120
6.4.1Zookeeper的诞生120
6.4.2Zookeeper的产生原因121
6.4.3Zookeeper的核心功能122
6.4.4Zookeeper集群角色123
6.5实战演练——Zookeeper分布式集群部署126
6.5.1实战演练一环境准备126
6.5.2实战演练二搭建Zookeeper集群127
6.5.3实战演练三启动Zookeeper集群129
6.6ZookeeperShell常用命令131
6.7Zookeeper的JavaAPI操作133
6.8项目总结报告139
6.9习题140
