大数据平台搭建与运维
定价：￥54.00
作者： 刘庆生，陈位妮
出版时间：2025-02
出版社：机械工业出版社
- 机械工业出版社
- 9787893867231
- 562042
- 2025-02
- 电子与信息大类
- 计算机类
- 大数据技术
- 高职
内容简介
本书为“十四五”职业教育国家规划教材配套数字教材。
本书以任务为载体，以实施过程为主线，将知识点穿插到任务实施过程中，知识体系的构建循序渐进、由易到难、由浅入深，符合普遍认知规律。
本书以Hadoop大数据平台为重点，主要内容包括预备知识、准备Hadoop环境、搭建Hadoop大数据平台、使用Java语言编写MapReduce程序、使用Python语言编写MapReduce程序、Hadoop系统的常见故障及应对和Hadoop系统运维。
本书适合作为各类职业院校大数据技术与应用等相关专业的教材，也可以作为大数据爱好者的自学参考用书。
本书在编排设计中充分发挥了数字教材可听、可视的特点，将教学视频与文本内容有机结合，并通过后台数据分析形成用户画像，实现个性化的教与学。
本书以任务为载体，以实施过程为主线，将知识点穿插到任务实施过程中，知识体系的构建循序渐进、由易到难、由浅入深，符合普遍认知规律。
本书以Hadoop大数据平台为重点，主要内容包括预备知识、准备Hadoop环境、搭建Hadoop大数据平台、使用Java语言编写MapReduce程序、使用Python语言编写MapReduce程序、Hadoop系统的常见故障及应对和Hadoop系统运维。
本书适合作为各类职业院校大数据技术与应用等相关专业的教材，也可以作为大数据爱好者的自学参考用书。
本书在编排设计中充分发挥了数字教材可听、可视的特点，将教学视频与文本内容有机结合，并通过后台数据分析形成用户画像，实现个性化的教与学。
目录
前言
项目1 预备知识
任务1 VirtualBox虚拟机安装与配置
任务2 在VirtualBox中安装Ubuntu虚拟机
任务3 安装和配置远程连接工具Xshell
任务4 安装和配置远程连接工具Xftp
任务5 Linux基础知识
项目2 准备Hadoop环境
任务1 配置JDK
任务2 配置SSH免密码登录
任务3 Hadoop文件和目录结构
项目3 搭建Hadoop大数据平台
任务1 配置单机模式Hadoop
任务2 配置伪分布模式Hadoop
任务3 配置集群模式Hadoop
任务4 安装ZooKeeper组件
任务5 配置高可用模式Hadoop
任务6 HDFS
任务7 Hadoop调优
任务8 安装Hive数据仓库
任务9 搭建Spark计算平台
项目4 使用Java语言编写MapReduce程序
任务1 安装与配置Maven本地仓库
任务2 配置IDEA编程环境
任务3 编写第一个Java应用程序
任务4 编写Hadoop经典程序WordCount
任务5 分析通信基站数据
项目5 使用Python语言编写MapReduce程序
任务1 WordCount案例
任务2 母婴产品销售数据分析
任务3 通信基站数据分析
项目6 Hadoop系统的常见故障及应对
任务1 Hadoop系统日志结构及分析
任务2 NameNode单节点故障的风险预防
任务3 硬件故障及应对
任务4 Hadoop系统的隐私安全
任务5 Hadoop系统的未来
项目7 Hadoop系统运维
任务1 用Ambari搭建Hadoop及生态组件
任务2 动态增加和删除Hadoop节点
任务3 从SecondaryNameNode恢复NameNode
任务4 Zabbix安装与配置
任务5 Ansible基础
任务6 使用Ansible部署Hadoop集群
任务7 Docker安装与应用
任务8 使用Docker部署Hadoop集群
参考文献
项目1 预备知识
任务1 VirtualBox虚拟机安装与配置
任务2 在VirtualBox中安装Ubuntu虚拟机
任务3 安装和配置远程连接工具Xshell
任务4 安装和配置远程连接工具Xftp
任务5 Linux基础知识
项目2 准备Hadoop环境
任务1 配置JDK
任务2 配置SSH免密码登录
任务3 Hadoop文件和目录结构
项目3 搭建Hadoop大数据平台
任务1 配置单机模式Hadoop
任务2 配置伪分布模式Hadoop
任务3 配置集群模式Hadoop
任务4 安装ZooKeeper组件
任务5 配置高可用模式Hadoop
任务6 HDFS
任务7 Hadoop调优
任务8 安装Hive数据仓库
任务9 搭建Spark计算平台
项目4 使用Java语言编写MapReduce程序
任务1 安装与配置Maven本地仓库
任务2 配置IDEA编程环境
任务3 编写第一个Java应用程序
任务4 编写Hadoop经典程序WordCount
任务5 分析通信基站数据
项目5 使用Python语言编写MapReduce程序
任务1 WordCount案例
任务2 母婴产品销售数据分析
任务3 通信基站数据分析
项目6 Hadoop系统的常见故障及应对
任务1 Hadoop系统日志结构及分析
任务2 NameNode单节点故障的风险预防
任务3 硬件故障及应对
任务4 Hadoop系统的隐私安全
任务5 Hadoop系统的未来
项目7 Hadoop系统运维
任务1 用Ambari搭建Hadoop及生态组件
任务2 动态增加和删除Hadoop节点
任务3 从SecondaryNameNode恢复NameNode
任务4 Zabbix安装与配置
任务5 Ansible基础
任务6 使用Ansible部署Hadoop集群
任务7 Docker安装与应用
任务8 使用Docker部署Hadoop集群
参考文献
