大数据存储技术与应用
￥29.00定价
作者： 上海德拓信息技术股份有限公司
出版时间：2023-01
出版社：西安电子科技大学出版社
- 西安电子科技大学出版社
- 9787560666877
- 1-1
- 461577
- 68246766-7
- 16开
- 2023-01
- 自动化技术、计算技术
- 高职
内容简介
本书以当前流行的大数据存储技术为主线, 从大数据存储技术特性和实现入手, 对大数据存储的基本架构、实现原理、应用部署等进行了全面翔实的介绍。同时, 以德拓大数据处理平台为依托, 对HBase、Hive、Stork、Teryx、Eagles、Cayman等技术进行实战演练。此外, 还通过真实案例分析了大数据处理过程中数据存储技术的综合应用。全书共分6章, 内容包括大数据存储技术与应用概述、大数据分布式文件存储技术、大数据结构化数据存储技术、大数据半结构化数据存储技术、大数据非结构化数据存储技术、态势感知——舆情热点大数据平台中的数据存储技术。
本书可作为应用型本科及高职高专院校大数据、云计算、人工智能等相关专业的教材, 同时也可作为大数据存储技术开发人员的学习、参考及培训用书。
本书可作为应用型本科及高职高专院校大数据、云计算、人工智能等相关专业的教材, 同时也可作为大数据存储技术开发人员的学习、参考及培训用书。
目录
第1章 大数据存储技术与应用概述 1
1.1 大数据概述 1
1.1.1 大数据的概念 1
1.1.2 大数据的特征 2
1.1.3 大数据的分类 3
1.1.4 大数据关键技术 5
1.1.5 大数据处理流程 6
1.2 大数据存储技术概述 7
1.2.1 大数据存储架构 7
1.2.2 大数据存储技术路线 10
1.2.3 大数据存储关键技术 12
1.2.4 大数据存储系统 13
1.3 大数据存储技术应用 13
1.3.1 智能大数据处理平台 14
1.3.2 医疗大数据融合平台 15
1.3.3 智慧国土大数据融合平台 15
1.3.4 能源电力大数据融合平台 16
本章小结 16
课后作业 17
第2章 大数据分布式文件存储技术 18
2.1 分布式文件系统概述 18
2.1.1 计算机集群结构 18
2.1.2 分布式文件系统结构 19
2.2 HDFS存储技术 20
2.2.1 HDFS的概念和特点 20
2.2.2 HDFS体系架构 21
2.2.3 HDFS存储原理 23
2.3 HDFS基本操作 26
2.3.1 HDFS的安装与配置 26
2.3.2 HDFS Shell命令 28
2.3.3 HDFS Web操作 31
2.4 大数据分布式文件存储技术应用实例 32
2.4.1 本地文件上传远程服务器 32
2.4.2 远程服务器文件上传HDFS 35
2.4.3 DanaStudio平台HDFS数据导入PostgreSQL 40
本章小结 46
课后作业 46
第3章 大数据结构化数据存储技术 47
3.1 结构化数据存储技术概述 47
3.2 HBase存储技术 47
3.2.1 HBase概述 48
3.2.2 HBase基本操作 48
3.2.3 HBase存储技术应用实例 52
3.3 Hive存储技术 56
3.3.1 Hive概述 56
3.3.2 Hive基本操作 56
3.3.3 Hive存储技术应用实例 61
3.4 Stork关系型数据库存储技术 64
3.4.1 Stork概述 64
3.4.2 Stork基本操作 65
3.4.3 Stork存储技术应用实例 70
3.5 Teryx关系型数据库存储技术 74
3.5.1 Teryx概述 74
3.5.2 Teryx基本操作 75
3.5.3 Teryx存储技术应用实例 78
本章小结 80
课后作业 80
第4章 大数据半结构化数据存储技术 82
4.1 半结构化数据存储技术概述 82
4.1.1 半结构化数据概述 82
4.1.2 半结构化数据存储技术 83
4.2 NoSQL存储技术 84
4.2.1 NoSQL概述 84
4.2.2 关系型数据库与NoSQL的区别 85
4.2.3 NoSQL代表 86
4.3 ElasticSearch存储技术 88
4.3.1 ElasticSearch概述 89
4.3.2 ElasticSearch基本操作 90
4.3.3 ElasticSearch存储技术应用实例 93
4.4 Eagles存储技术 96
4.4.1 Eagles概述 96
4.4.2 Eagles基本操作 100
4.4.3 Eagles存储技术应用实例 109
本章小结 118
课后作业 118
第5章 大数据非结构化数据存储技术 119
5.1 非结构化数据存储技术概述 119
5.1.1 非结构化数据概述 119
5.1.2 非结构化数据存储特点 119
5.2 Cayman存储技术 120
5.2.1 Cayman概述 120
5.2.2 Cayman系统架构 122
5.2.3 Cayman的技术特性 123
5.2.4 Cayman的安装与配置 126
5.2.5 Cayman管理员操作 129
5.2.6 Cayman租户操作 135
5.2.7 Cayman开发人员操作 148
5.2.8 Cayman存储技术应用实例 150
本章小结 154
课后作业 154
第6章 态势感知——舆情热点大数据平台中的数据存储技术 155
6.1 项目背景 155
6.1.1 背景概述 155
6.1.2 网络舆情特征 156
6.2 态势感知——舆情热点大数据平台数据存储需求分析 156
6.2.1 态势感知——舆情热点大数据平台功能需求 157
6.2.2 态势感知——舆情热点大数据平台数据存储需求 158
6.3 态势感知——舆情热点大数据平台数据存储设计与实现 158
6.3.1 态势感知——舆情热点大数据平台数据存储设计 158
6.3.2 态势感知——舆情热点大数据平台数据存储实现 161
本章小结 169
课后作业 169
参考文献 170
1.1 大数据概述 1
1.1.1 大数据的概念 1
1.1.2 大数据的特征 2
1.1.3 大数据的分类 3
1.1.4 大数据关键技术 5
1.1.5 大数据处理流程 6
1.2 大数据存储技术概述 7
1.2.1 大数据存储架构 7
1.2.2 大数据存储技术路线 10
1.2.3 大数据存储关键技术 12
1.2.4 大数据存储系统 13
1.3 大数据存储技术应用 13
1.3.1 智能大数据处理平台 14
1.3.2 医疗大数据融合平台 15
1.3.3 智慧国土大数据融合平台 15
1.3.4 能源电力大数据融合平台 16
本章小结 16
课后作业 17
第2章 大数据分布式文件存储技术 18
2.1 分布式文件系统概述 18
2.1.1 计算机集群结构 18
2.1.2 分布式文件系统结构 19
2.2 HDFS存储技术 20
2.2.1 HDFS的概念和特点 20
2.2.2 HDFS体系架构 21
2.2.3 HDFS存储原理 23
2.3 HDFS基本操作 26
2.3.1 HDFS的安装与配置 26
2.3.2 HDFS Shell命令 28
2.3.3 HDFS Web操作 31
2.4 大数据分布式文件存储技术应用实例 32
2.4.1 本地文件上传远程服务器 32
2.4.2 远程服务器文件上传HDFS 35
2.4.3 DanaStudio平台HDFS数据导入PostgreSQL 40
本章小结 46
课后作业 46
第3章 大数据结构化数据存储技术 47
3.1 结构化数据存储技术概述 47
3.2 HBase存储技术 47
3.2.1 HBase概述 48
3.2.2 HBase基本操作 48
3.2.3 HBase存储技术应用实例 52
3.3 Hive存储技术 56
3.3.1 Hive概述 56
3.3.2 Hive基本操作 56
3.3.3 Hive存储技术应用实例 61
3.4 Stork关系型数据库存储技术 64
3.4.1 Stork概述 64
3.4.2 Stork基本操作 65
3.4.3 Stork存储技术应用实例 70
3.5 Teryx关系型数据库存储技术 74
3.5.1 Teryx概述 74
3.5.2 Teryx基本操作 75
3.5.3 Teryx存储技术应用实例 78
本章小结 80
课后作业 80
第4章 大数据半结构化数据存储技术 82
4.1 半结构化数据存储技术概述 82
4.1.1 半结构化数据概述 82
4.1.2 半结构化数据存储技术 83
4.2 NoSQL存储技术 84
4.2.1 NoSQL概述 84
4.2.2 关系型数据库与NoSQL的区别 85
4.2.3 NoSQL代表 86
4.3 ElasticSearch存储技术 88
4.3.1 ElasticSearch概述 89
4.3.2 ElasticSearch基本操作 90
4.3.3 ElasticSearch存储技术应用实例 93
4.4 Eagles存储技术 96
4.4.1 Eagles概述 96
4.4.2 Eagles基本操作 100
4.4.3 Eagles存储技术应用实例 109
本章小结 118
课后作业 118
第5章 大数据非结构化数据存储技术 119
5.1 非结构化数据存储技术概述 119
5.1.1 非结构化数据概述 119
5.1.2 非结构化数据存储特点 119
5.2 Cayman存储技术 120
5.2.1 Cayman概述 120
5.2.2 Cayman系统架构 122
5.2.3 Cayman的技术特性 123
5.2.4 Cayman的安装与配置 126
5.2.5 Cayman管理员操作 129
5.2.6 Cayman租户操作 135
5.2.7 Cayman开发人员操作 148
5.2.8 Cayman存储技术应用实例 150
本章小结 154
课后作业 154
第6章 态势感知——舆情热点大数据平台中的数据存储技术 155
6.1 项目背景 155
6.1.1 背景概述 155
6.1.2 网络舆情特征 156
6.2 态势感知——舆情热点大数据平台数据存储需求分析 156
6.2.1 态势感知——舆情热点大数据平台功能需求 157
6.2.2 态势感知——舆情热点大数据平台数据存储需求 158
6.3 态势感知——舆情热点大数据平台数据存储设计与实现 158
6.3.1 态势感知——舆情热点大数据平台数据存储设计 158
6.3.2 态势感知——舆情热点大数据平台数据存储实现 161
本章小结 169
课后作业 169
参考文献 170
