大数据平台搭建与维护（微课版） / 高等院校互联网+新形态创新系列教材·计算机系列
定价：￥49.00
作者： 汪忆，王永明，唐倩等
出版时间：2024-12
最新印次日期：2024-12
出版社：清华大学出版社
试读
- 清华大学出版社
- 9787302678366
- 1-1
- 575853
- 61266537-2
- 16开
- 2024-12
- 电子与信息大类
- 计算机类
- 计算机
- 高职
作者简介
内容简介
《大数据平台搭建与维护》以大数据平台项目场景和工作任务驱动的方式搭建逻辑架构，以大数据平台搭建与维护具体任务活动及工作步骤为核心构建内容体系，全书以工作手册的形式进行编写。《大数据平台搭建与维护》共包括6个项目，介绍了Linux系统的安装与配置、Hadoop HDFS 高可用集群搭建、Hadoop YARN高可用集群搭建与维护、HBase高可用集群搭建与操作、Hive数据仓库工具搭建与操作、某电商推荐系统大数据平台搭建案例等内容。《大数据平台搭建与维护》注重工匠精神的培养及工作任务实施过程中的考核评价，每个项目包含项目工作总结、技能拓展训练、项目综合评价等模块，可以更好地帮助读者按任务活动的工作步骤顺利实施项目，同时能拓展知识面，提高综合能力。
《大数据平台搭建与维护》结构新颖，内容丰富，将新技术、新规范、新标准融入工作手册，是一本全面了解大数据平台搭建与维护，实施工作步骤的工作手册。
《大数据平台搭建与维护》既可作为高等院校电子与信息大类各专业大数据平台搭建与维护技术相关课程的教材，也可作为大数据技术工程领域相关技术人员的参考书。
《大数据平台搭建与维护》结构新颖，内容丰富，将新技术、新规范、新标准融入工作手册，是一本全面了解大数据平台搭建与维护，实施工作步骤的工作手册。
《大数据平台搭建与维护》既可作为高等院校电子与信息大类各专业大数据平台搭建与维护技术相关课程的教材，也可作为大数据技术工程领域相关技术人员的参考书。
目录
目 录
项目1 Linux系统的安装与配置 1
工作任务1.1 Linux安装环境准备 2
任务活动1.1.1 磁盘格式化 3
任务活动1.1.2 检测CPU虚拟化技术 4
任务活动1.1.3 开启CPU虚拟化技术 6
工作任务1.2 VMware的安装与配置 9
任务活动1.2.1 安装VMware Workstation 16 9
任务活动1.2.2 虚拟网络的配置 12
任务活动1.2.3 系统服务及虚拟适配器的启停 14
工作任务1.3 CentOS 7的安装与克隆 17
任务活动1.3.1 CentOS 7的安装 17
任务活动1.3.2 CentOS 7的克隆 29
项目工作总结 34
技能拓展训练 34
项目综合评价 35
项目2 Hadoop HDFS高可用集群搭建 38
工作任务2.1 Linux服务器Hadoop集群基础环境配置 40
任务活动2.1.1 网卡、主机名与IP地址映射配置 41
任务活动2.1.2 Linux常用命令的安装 44
任务活动2.1.3 Linux客户端软件工具的配置 44
任务活动2.1.4 阿里云yum源配置 51
任务活动2.1.5 升级OpenSSL协议 52
任务活动2.1.6 SSH免密码登录配置 56
任务活动2.1.7 集群时间同步配置 57
任务活动2.1.8 JDK的安装与配置 59
工作任务2.2 Hadoop集群NameNode单节点的安装与配置 61
任务活动2.2.1 在主节点上安装与配置Hadoop 67
任务活动2.2.2 在从节点上安装与配置Hadoop 69
任务活动2.2.3 格式化Hadoop的HDFS 69
工作任务2.3 Hadoop集群HDFS HA的安装与配置 75
任务活动2.3.1 ZooKeeper的安装与配置 77
任务活动2.3.2 HDFS HA的安装与配置 79
任务活动2.3.3 NameNode与ZKFC格式化 83
项目工作总结 91
技能拓展训练 92
项目综合评价 92
项目3 Hadoop YARN高可用集群搭建与维护 96
工作任务3.1 Hadoop集群YARN HA的安装与配置 97
任务活动3.1.1 停止Hadoop 集群所有组件服务进程 99
任务活动3.1.2 Hadoop YARN HA的安装与配置 100
工作任务3.2 操作HDFS的常用命令与编程方式 110
任务活动3.2.1 操作HDFS的常用命令 110
任务活动3.2.2 Eclipse集成Maven的开发环境搭建与配置 112
任务活动3.2.3 Java API编程方式实现HDFS文件读取 115
任务活动3.2.4 Java API编程方式实现HDFS文件写入 121
任务活动3.2.5 Java API编写MapReduce大数据计算程序 124
工作任务3.3 Hadoop集群异常处理与维护 133
任务活动3.3.1 Hadoop集群搭建异常处理 133
任务活动3.3.2 Hadoop集群日常维护与管理 135
项目工作总结 138
技能拓展训练 139
项目综合评价 139
项目4 HBase高可用集群搭建与操作 143
工作任务4.1 HBase的HA搭建 144
任务活动4.1.1 HBase基础配置 145
任务活动4.1.2 搭建HBase高可用集群 147
工作任务4.2 HBase的常用操作 152
任务活动 HBase shell操作 153
工作任务4.3 HBase常见异常处理与维护 159
任务活动4.3.1 HBase集群异常处理 159
任务活动4.3.2 HBase集群日常维护 160
项目工作总结 163
技能拓展训练 163
项目综合评价 164
项目5 Hive数据仓库工具搭建与操作 167
工作任务5.1 MySQL数据库安装 168
任务活动 MySQL数据库在线安装 169
工作任务5.2 Hive的安装与配置 174
任务活动5.2.1 Hive配置搭建 174
任务活动5.2.2 客户端beeline配置 176
工作任务5.3 Hive的常用数据操作 181
任务活动5.3.1 Hive基础操作 182
任务活动5.3.2 Hive的数据导入操作 183
任务活动5.3.3 导入HBase数据到Hive 184
工作任务5.4 Hive常见异常处理与维护 187
任务活动5.4.1 Hive搭建异常处理 187
任务活动5.4.2 Hive集群日常维护 188
项目工作总结 190
技能拓展训练 190
项目综合评价 191
项目6 某电商推荐系统大数据平台搭建案例 194
工作任务6.1 Spark的YARN模式集群部署 195
任务活动6.1.1 Spark集群部署安装 196
任务活动6.1.2 Spark的YARN高可用配置 197
工作任务6.2 MongoDB的安装与客户端连接 200
任务活动6.2.1 MongoDB服务端配置 200
任务活动6.2.2 MongoDB客户端配置 202
工作任务6.3 Kafka集群的安装与配置 205
任务活动 Kafka的安装与配置 206
工作任务6.4 Redis的安装与客户端连接 210
任务活动6.4.1 Redis服务端的安装 210
任务活动6.4.2 Redis客户端连接 212
工作任务6.5 Tomcat服务器的安装与配置 214
任务活动 Tomcat的搭建与配置 215
项目工作总结 218
技能拓展训练 218
项目综合评价 219
参考文献 222
项目1 Linux系统的安装与配置 1
工作任务1.1 Linux安装环境准备 2
任务活动1.1.1 磁盘格式化 3
任务活动1.1.2 检测CPU虚拟化技术 4
任务活动1.1.3 开启CPU虚拟化技术 6
工作任务1.2 VMware的安装与配置 9
任务活动1.2.1 安装VMware Workstation 16 9
任务活动1.2.2 虚拟网络的配置 12
任务活动1.2.3 系统服务及虚拟适配器的启停 14
工作任务1.3 CentOS 7的安装与克隆 17
任务活动1.3.1 CentOS 7的安装 17
任务活动1.3.2 CentOS 7的克隆 29
项目工作总结 34
技能拓展训练 34
项目综合评价 35
项目2 Hadoop HDFS高可用集群搭建 38
工作任务2.1 Linux服务器Hadoop集群基础环境配置 40
任务活动2.1.1 网卡、主机名与IP地址映射配置 41
任务活动2.1.2 Linux常用命令的安装 44
任务活动2.1.3 Linux客户端软件工具的配置 44
任务活动2.1.4 阿里云yum源配置 51
任务活动2.1.5 升级OpenSSL协议 52
任务活动2.1.6 SSH免密码登录配置 56
任务活动2.1.7 集群时间同步配置 57
任务活动2.1.8 JDK的安装与配置 59
工作任务2.2 Hadoop集群NameNode单节点的安装与配置 61
任务活动2.2.1 在主节点上安装与配置Hadoop 67
任务活动2.2.2 在从节点上安装与配置Hadoop 69
任务活动2.2.3 格式化Hadoop的HDFS 69
工作任务2.3 Hadoop集群HDFS HA的安装与配置 75
任务活动2.3.1 ZooKeeper的安装与配置 77
任务活动2.3.2 HDFS HA的安装与配置 79
任务活动2.3.3 NameNode与ZKFC格式化 83
项目工作总结 91
技能拓展训练 92
项目综合评价 92
项目3 Hadoop YARN高可用集群搭建与维护 96
工作任务3.1 Hadoop集群YARN HA的安装与配置 97
任务活动3.1.1 停止Hadoop 集群所有组件服务进程 99
任务活动3.1.2 Hadoop YARN HA的安装与配置 100
工作任务3.2 操作HDFS的常用命令与编程方式 110
任务活动3.2.1 操作HDFS的常用命令 110
任务活动3.2.2 Eclipse集成Maven的开发环境搭建与配置 112
任务活动3.2.3 Java API编程方式实现HDFS文件读取 115
任务活动3.2.4 Java API编程方式实现HDFS文件写入 121
任务活动3.2.5 Java API编写MapReduce大数据计算程序 124
工作任务3.3 Hadoop集群异常处理与维护 133
任务活动3.3.1 Hadoop集群搭建异常处理 133
任务活动3.3.2 Hadoop集群日常维护与管理 135
项目工作总结 138
技能拓展训练 139
项目综合评价 139
项目4 HBase高可用集群搭建与操作 143
工作任务4.1 HBase的HA搭建 144
任务活动4.1.1 HBase基础配置 145
任务活动4.1.2 搭建HBase高可用集群 147
工作任务4.2 HBase的常用操作 152
任务活动 HBase shell操作 153
工作任务4.3 HBase常见异常处理与维护 159
任务活动4.3.1 HBase集群异常处理 159
任务活动4.3.2 HBase集群日常维护 160
项目工作总结 163
技能拓展训练 163
项目综合评价 164
项目5 Hive数据仓库工具搭建与操作 167
工作任务5.1 MySQL数据库安装 168
任务活动 MySQL数据库在线安装 169
工作任务5.2 Hive的安装与配置 174
任务活动5.2.1 Hive配置搭建 174
任务活动5.2.2 客户端beeline配置 176
工作任务5.3 Hive的常用数据操作 181
任务活动5.3.1 Hive基础操作 182
任务活动5.3.2 Hive的数据导入操作 183
任务活动5.3.3 导入HBase数据到Hive 184
工作任务5.4 Hive常见异常处理与维护 187
任务活动5.4.1 Hive搭建异常处理 187
任务活动5.4.2 Hive集群日常维护 188
项目工作总结 190
技能拓展训练 190
项目综合评价 191
项目6 某电商推荐系统大数据平台搭建案例 194
工作任务6.1 Spark的YARN模式集群部署 195
任务活动6.1.1 Spark集群部署安装 196
任务活动6.1.2 Spark的YARN高可用配置 197
工作任务6.2 MongoDB的安装与客户端连接 200
任务活动6.2.1 MongoDB服务端配置 200
任务活动6.2.2 MongoDB客户端配置 202
工作任务6.3 Kafka集群的安装与配置 205
任务活动 Kafka的安装与配置 206
工作任务6.4 Redis的安装与客户端连接 210
任务活动6.4.1 Redis服务端的安装 210
任务活动6.4.2 Redis客户端连接 212
工作任务6.5 Tomcat服务器的安装与配置 214
任务活动 Tomcat的搭建与配置 215
项目工作总结 218
技能拓展训练 218
项目综合评价 219
参考文献 222
