大数据平台部署与运维项目教程 / 高等职业教育系列教材
定价：￥59.00
作者： 杨彪，曹元元，王秋丽
出版时间：2025-11-03
出版社：机械工业出版社
- 机械工业出版社
- 9787111791096
- 1-1
- 562697
- 平装
- 2025-11-03
- 331
内容简介
《大数据平台部署与运维项目教程》采用项目驱动的学习模式，从平台搭建到数据采集、处理、分析，再到运维优化，为读者提供了一个全方位的学习路径。《大数据平台部署与运维项目教程》基于实际业务场景设计了搭建Hadoop大数据开发平台，从网络爬取电商产品信息并保存到HDFS，企业数据采集与迁移，基于MapReduce的影评数据分析，HBase用户行为分析，存储、管理城市气象数据，基于Spark分析线上订单数据，以及Hadoop大数据平台运维8个项目，全面覆盖Hadoop生态系统的部署、运维以及数据处理的各业务流程。本书的实训环境借助容器技术，模拟了真实的企业环境，使读者能够在跨平台场景中进行学习和实践。在内容上不仅对操作步骤进行详细说明，还深入剖析其背后的原理，帮助读者深入理解并掌握关键技能。同时，对大数据平台的运维和安全配置进行了针对性的介绍。
《大数据平台部署与运维项目教程》面向高职院校大数据技术专业的学生，旨在为其提供必要的理论知识和实践技能，提升他们在就业市场的竞争力。此外，对于自学者和希望进一步研究大数据技术的教师及研究人员而言，本书提供了丰富的学习资源和实践指导。
《大数据平台部署与运维项目教程》面向高职院校大数据技术专业的学生，旨在为其提供必要的理论知识和实践技能，提升他们在就业市场的竞争力。此外，对于自学者和希望进一步研究大数据技术的教师及研究人员而言，本书提供了丰富的学习资源和实践指导。
目录
前言
项目1 搭建Hadoop大数据开发平台项目背景
项目目标
任务1.1安装虚拟机
1.1.1任务描述
1.1.2知识准备
1.1.3任务实施
任务1.2搭建Docker的开发环境
1.2.1任务描述
1.2.2知识准备
1.2.3任务实施
任务1.3安装Hadoop
1.3.1任务描述
1.3.2知识准备
1.3.3任务实施
习题
项目2 从网络爬取电商产品信息并保存到HDFS项目背景
项目目标
任务2.1通过Web管理HDFS
2.1.1任务描述
2.1.2知识准备
2.1.3任务实施
任务2.2安装配置Python开发环境
2.2.1任务描述
2.2.2知识准备
2.2.3任务实施
任务2.3爬取电商产品信息并保存到HDFS
2.3.1任务描述
2.3.2知识准备
2.3.3任务实施
习题
项目3 企业数据采集与迁移项目背景
项目目标
任务3.1利用Flume采集网络设备日志
3.1.1任务描述
3.1.2知识准备
3.1.3任务实施
任务3.2利用Kafka实现数据采集
3.2.1任务描述
3.2.2知识准备
3.2.3任务实施
任务3.3利用Sqoop实现数据迁移
3.3.1任务描述
3.3.2知识准备
3.3.3任务实施
习题
项目4 基于MapReduce的影评数据分析项目背景
项目目标
任务4.1搭建影评数据分析平台
4.1.1任务描述
4.1.2知识准备
4.1.3任务实施
任务4.2影评数据分析
4.2.1任务描述
4.2.2知识准备
4.2.3任务实施
任务4.3统计分析影评用户日志数据
4.3.1任务描述
4.3.2知识准备
4.3.3任务实施
习题
项目5 HBase用户行为分析项目背景
项目目标
任务5.1部署HBase
5.1.1任务描述
5.1.2知识准备
5.1.3任务实施
任务5.2用户行为分析
5.2.1任务描述
5.2.2知识准备
5.2.3任务实施
习题
项目6 存储、管理城市气象数据项目背景
项目目标
任务6.1部署气象数据存储、查询平台
6.1.1任务描述
6.1.2知识准备
6.1.3任务实施
任务6.2利用Hive分析城市气象数据
6.2.1任务描述
6.2.2知识准备
6.2.3任务实施
任务6.3将Hive表气象数据同步到Hudi表
6.3.1任务描述
6.3.2知识准备
6.3.3任务实施
习题
项目7 基于Spark分析线上订单数据项目背景
项目目标
任务7.1搭建线上订单数据处理平台
7.1.1任务描述
7.1.2知识准备
7.1.3任务实施
任务7.2基于Spark RDD分析线上订单数据
7.2.1任务描述
7.2.2知识准备
7.2.3任务实施
任务7.3基于Spark SQL实现休闲零食推荐系统
7.3.1任务描述
7.3.2知识准备
7.3.3任务实施
习题
项目8 Hadoop大数据平台运维项目背景
项目目标
任务8.1大数据平台优化
8.1.1任务描述
8.1.2知识准备
8.1.3任务实施
任务8.2大数据平台安全配置
8.2.1任务描述
8.2.2知识准备
8.2.3任务实施
习题
参考文献
项目1 搭建Hadoop大数据开发平台项目背景
项目目标
任务1.1安装虚拟机
1.1.1任务描述
1.1.2知识准备
1.1.3任务实施
任务1.2搭建Docker的开发环境
1.2.1任务描述
1.2.2知识准备
1.2.3任务实施
任务1.3安装Hadoop
1.3.1任务描述
1.3.2知识准备
1.3.3任务实施
习题
项目2 从网络爬取电商产品信息并保存到HDFS项目背景
项目目标
任务2.1通过Web管理HDFS
2.1.1任务描述
2.1.2知识准备
2.1.3任务实施
任务2.2安装配置Python开发环境
2.2.1任务描述
2.2.2知识准备
2.2.3任务实施
任务2.3爬取电商产品信息并保存到HDFS
2.3.1任务描述
2.3.2知识准备
2.3.3任务实施
习题
项目3 企业数据采集与迁移项目背景
项目目标
任务3.1利用Flume采集网络设备日志
3.1.1任务描述
3.1.2知识准备
3.1.3任务实施
任务3.2利用Kafka实现数据采集
3.2.1任务描述
3.2.2知识准备
3.2.3任务实施
任务3.3利用Sqoop实现数据迁移
3.3.1任务描述
3.3.2知识准备
3.3.3任务实施
习题
项目4 基于MapReduce的影评数据分析项目背景
项目目标
任务4.1搭建影评数据分析平台
4.1.1任务描述
4.1.2知识准备
4.1.3任务实施
任务4.2影评数据分析
4.2.1任务描述
4.2.2知识准备
4.2.3任务实施
任务4.3统计分析影评用户日志数据
4.3.1任务描述
4.3.2知识准备
4.3.3任务实施
习题
项目5 HBase用户行为分析项目背景
项目目标
任务5.1部署HBase
5.1.1任务描述
5.1.2知识准备
5.1.3任务实施
任务5.2用户行为分析
5.2.1任务描述
5.2.2知识准备
5.2.3任务实施
习题
项目6 存储、管理城市气象数据项目背景
项目目标
任务6.1部署气象数据存储、查询平台
6.1.1任务描述
6.1.2知识准备
6.1.3任务实施
任务6.2利用Hive分析城市气象数据
6.2.1任务描述
6.2.2知识准备
6.2.3任务实施
任务6.3将Hive表气象数据同步到Hudi表
6.3.1任务描述
6.3.2知识准备
6.3.3任务实施
习题
项目7 基于Spark分析线上订单数据项目背景
项目目标
任务7.1搭建线上订单数据处理平台
7.1.1任务描述
7.1.2知识准备
7.1.3任务实施
任务7.2基于Spark RDD分析线上订单数据
7.2.1任务描述
7.2.2知识准备
7.2.3任务实施
任务7.3基于Spark SQL实现休闲零食推荐系统
7.3.1任务描述
7.3.2知识准备
7.3.3任务实施
习题
项目8 Hadoop大数据平台运维项目背景
项目目标
任务8.1大数据平台优化
8.1.1任务描述
8.1.2知识准备
8.1.3任务实施
任务8.2大数据平台安全配置
8.2.1任务描述
8.2.2知识准备
8.2.3任务实施
习题
参考文献
