大数据关键技术与应用
定价：￥69.80
作者： 李小红等
出版时间：2026-12
出版社：电子工业出版社
- 电子工业出版社
- 9787121530333
- 1-1
- 16开
- 2026-12
- 工学
- 计算机类
- 计算机科学与技术
- 本科 研究生及以上
内容简介
本书是高等院校本科教材。本书系统阐述了培养复合型数据科学与大数据技术专业人才所需的相关知识，涵盖大数据概述、大数据与新一代信息技术、数据采集、数据存储与管理、数据预处理、数据分析与挖掘、数据可视化、大数据与信息安全、大数据的典型应用共9章内容。其中大数据关键技术的各个章节都配有对应的拓展实践及习题。这些拓展实践均已经过验证，简明易学，逻辑清晰，可操作性强。本书内容新颖，配套资源丰富，既可作为高等院校数据科学与大数据技术专业相关课程的教材，又可供相关技术人员参考。
目录
第1章 大数据概述 1
1.1 数据 1
1.1.1 数据的概念 2
1.1.2 数据的表现形式 2
1.1.3 数据的组织形式 3
1.1.4 数据的生命周期 4
1.1.5 数据的价值 4
1.2 大数据时代 5
1.2.1 大数据的概念 5
1.2.2 大数据的数据类型 6
1.2.3 大数据的特征 6
1.2.4 大数据带来的改变 7
1.3 大数据的处理流程 9
1.3.1 数据采集 9
1.3.2 数据预处理 9
1.3.3 数据存储 10
1.3.4 数据分析 10
1.3.5 数据可视化 11
1.3.6 决策与行动 11
1.4 大数据的发展历程 12
1.4.1 数据存储与数据库技术的初期 12
1.4.2 互联网的兴起和数据爆炸 12
1.4.3 大数据概念的正式提出 13
1.4.4 大数据技术的快速发展和应用普及 13
1.4.5 大数据与人工智能、机器学习的结合 13
1.5 大数据时代面临的挑战和机遇 13
1.5.1 挑战 13
1.5.2 机遇 14
1.6 本章小结 14
习题 14
第2章 大数据与新一代信息技术 16
2.1 大数据与人工智能 17
2.1.1 人工智能 17
2.1.2 大数据与人工智能的关系与应用场景 23
2.2 大数据与云计算 25
2.2.1 云计算 25
2.2.2 大数据与云计算的关系和应用场景 30
2.3 大数据与物联网 34
2.3.1 物联网 34
2.3.2 大数据与物联网的关系和应用场景 42
2.4 大数据与区块链 43
2.4.1 区块链 43
2.4.2 大数据与区块链的区别、协同作用和应用场景 48
2.5 本章小结 52
习题 52
第３章 数据采集 54
3.1 大数据采集概述 55
3.1.1 大数据采集的概念 55
3.1.2 大数据采集的类型 55
3.1.3 大数据采集的数据来源 56
3.1.4 大数据采集的策略 57
3.1.5 大数据采集的工具 58
3.2 大数据采集方法 58
3.2.1 大数据采集的通用方法 59
3.2.2 离线采集与实时采集 65
3.3 大数据采集类型 66
3.3.1 分布式消息系统Kafka 67
3.3.2 日志采集系统Flume 70
3.3.3 采集Apache服务器数据 72
3.3.4 采集Tomcat服务器数据 72
3.3.5 埋点数据采集 73
3.4 常见的数据采集问题及注意事项 74
3.4.1 数据采集常见问题 75
3.4.2 数据采集注意事项 75
3.5 数据采集实训——使用八爪鱼进行数据采集 77
3.5.1 采集京东商品列表 77
3.5.2 采集京东商品评价 87
3.6 本章小结 98
习题 98
第４章 数据存储与管理 100
4.1 数据存储概述 100
4.1.1 数据存储的概念 101
4.1.2 传统数据存储与管理技术 101
4.1.3 大数据时代的数据存储与管理技术 103
4.2 分布式存储 104
4.2.1 分布式存储的概念 105
4.2.2 Hadoop 106
4.3 NoSQL数据库 117
4.3.1 NoSQL数据库概述 117
4.3.2 NoSQL数据库的分类 117
4.4 云数据库 120
4.4.1 云数据库概述 120
4.4.2 云数据库的特点 120
4.4.3 云数据库的应用 121
4.5 数据仓库 122
4.5.1 数据仓库概述 122
4.5.2 数据仓库的应用 123
4.6 本章小结 123
习题 124
第５章 数据预处理 125
5.1 数据清洗 126
5.1.1 数据清洗的应用领域 126
5.1.2 数据清洗的实现方式 127
5.1.3 数据清洗的工作内容 128
5.1.4 数据清洗的注意事项 129
5.1.5 数据清洗的基本流程 130
5.1.6 数据清洗的评价指标 131
5.2 数据集成 132
5.2.1 数据集成概述 132
5.2.2 数据集成技术 132
5.2.3 ETL 133
5.3 数据转换 134
5.3.1 数据转换概述 135
5.3.2 平滑处理 136
5.3.3 规范化处理 136
5.4 数据脱敏 137
5.4.1 数据脱敏原则 138
5.4.2 数据脱敏方法 139
5.5 数据预处理实训——使用Kettle进行数据清洗 139
5.5.1 Kettle中的基本概念 140
5.5.2 Kettle的基本功能 141
5.5.3 Kettle的安装 142
5.5.4 使用Kettle进行数据抽取 148
5.5.5 使用Kettle进行数据清洗与转换 153
5.6 本章小结 184
习题 185
第６章 数据分析与挖掘 188
6.1 数据分析概述 189
6.1.1 数据分析的定义 189
6.1.2 数据分析的流程 189
6.1.3 数据分析的方法 191
6.1.4 数据分析的应用案例 197
6.2 数据挖掘概述 197
6.2.1 数据挖掘的定义 198
6.2.2 数据挖掘的基本流程 198
6.2.3 数据挖掘的常用算法和工具 198
6.2.4 数据挖掘的应用 199
6.2.5 数据挖掘的未来发展 200
6.3 数据挖掘的常见算法 200
6.3.1 分类算法 200
6.3.2 聚类算法 203
6.3.3 关联规则挖掘算法 203
6.3.4 回归算法 204
6.4 数据分析与挖掘实训——使用Python实现K-Means聚类 206
6.4.1 K-Means聚类算法 206
6.4.2 加载和探索数据集 206
6.4.3 数据预处理 208
6.4.4 使用K-Means聚类算法进行聚类 210
6.4.5 可视化聚类结果 210
6.4.6 评估聚类结果 212
6.4.7 总结 212
6.5 本章小结 213
习题 214
第７章 数据可视化 216
7.1 数据可视化概述 217
7.1.1 概念 217
7.1.2 数据可视化的作用 219
7.1.3 数据可视化的发展历史及发展趋势 221
7.2 数据可视化的方法 222
7.2.1 数据可视化方法选择原则 222
7.2.2 常用的数据可视化方法 227
7.3 数据可视化的工具 237
7.3.1 拖曳式可视化工具 238
7.3.2 编程可视化库 240
7.3.3 地理数据可视化工具 246
7.3.4 数据可视化工具的选择 247
7.4 数据可视化实训——使用Python实现数据可视化 249
7.4.1 下载并安装Python 249
7.4.2 安装数据可视化库 251
7.4.3 数据可视化案例——Excel 252
7.4.4 数据可视化案例——Matplotlib库 254
7.4.5 数据可视化案例——Seaborn 255
7.4.6 数据可视化案例——pyecharts 259
7.5 本章小结 261
习题 262
第８章 大数据与信息安全 264
8.1 大数据安全概述 264
8.1.1 传统数据安全 265
8.1.2 大数据
1.1 数据 1
1.1.1 数据的概念 2
1.1.2 数据的表现形式 2
1.1.3 数据的组织形式 3
1.1.4 数据的生命周期 4
1.1.5 数据的价值 4
1.2 大数据时代 5
1.2.1 大数据的概念 5
1.2.2 大数据的数据类型 6
1.2.3 大数据的特征 6
1.2.4 大数据带来的改变 7
1.3 大数据的处理流程 9
1.3.1 数据采集 9
1.3.2 数据预处理 9
1.3.3 数据存储 10
1.3.4 数据分析 10
1.3.5 数据可视化 11
1.3.6 决策与行动 11
1.4 大数据的发展历程 12
1.4.1 数据存储与数据库技术的初期 12
1.4.2 互联网的兴起和数据爆炸 12
1.4.3 大数据概念的正式提出 13
1.4.4 大数据技术的快速发展和应用普及 13
1.4.5 大数据与人工智能、机器学习的结合 13
1.5 大数据时代面临的挑战和机遇 13
1.5.1 挑战 13
1.5.2 机遇 14
1.6 本章小结 14
习题 14
第2章 大数据与新一代信息技术 16
2.1 大数据与人工智能 17
2.1.1 人工智能 17
2.1.2 大数据与人工智能的关系与应用场景 23
2.2 大数据与云计算 25
2.2.1 云计算 25
2.2.2 大数据与云计算的关系和应用场景 30
2.3 大数据与物联网 34
2.3.1 物联网 34
2.3.2 大数据与物联网的关系和应用场景 42
2.4 大数据与区块链 43
2.4.1 区块链 43
2.4.2 大数据与区块链的区别、协同作用和应用场景 48
2.5 本章小结 52
习题 52
第３章 数据采集 54
3.1 大数据采集概述 55
3.1.1 大数据采集的概念 55
3.1.2 大数据采集的类型 55
3.1.3 大数据采集的数据来源 56
3.1.4 大数据采集的策略 57
3.1.5 大数据采集的工具 58
3.2 大数据采集方法 58
3.2.1 大数据采集的通用方法 59
3.2.2 离线采集与实时采集 65
3.3 大数据采集类型 66
3.3.1 分布式消息系统Kafka 67
3.3.2 日志采集系统Flume 70
3.3.3 采集Apache服务器数据 72
3.3.4 采集Tomcat服务器数据 72
3.3.5 埋点数据采集 73
3.4 常见的数据采集问题及注意事项 74
3.4.1 数据采集常见问题 75
3.4.2 数据采集注意事项 75
3.5 数据采集实训——使用八爪鱼进行数据采集 77
3.5.1 采集京东商品列表 77
3.5.2 采集京东商品评价 87
3.6 本章小结 98
习题 98
第４章 数据存储与管理 100
4.1 数据存储概述 100
4.1.1 数据存储的概念 101
4.1.2 传统数据存储与管理技术 101
4.1.3 大数据时代的数据存储与管理技术 103
4.2 分布式存储 104
4.2.1 分布式存储的概念 105
4.2.2 Hadoop 106
4.3 NoSQL数据库 117
4.3.1 NoSQL数据库概述 117
4.3.2 NoSQL数据库的分类 117
4.4 云数据库 120
4.4.1 云数据库概述 120
4.4.2 云数据库的特点 120
4.4.3 云数据库的应用 121
4.5 数据仓库 122
4.5.1 数据仓库概述 122
4.5.2 数据仓库的应用 123
4.6 本章小结 123
习题 124
第５章 数据预处理 125
5.1 数据清洗 126
5.1.1 数据清洗的应用领域 126
5.1.2 数据清洗的实现方式 127
5.1.3 数据清洗的工作内容 128
5.1.4 数据清洗的注意事项 129
5.1.5 数据清洗的基本流程 130
5.1.6 数据清洗的评价指标 131
5.2 数据集成 132
5.2.1 数据集成概述 132
5.2.2 数据集成技术 132
5.2.3 ETL 133
5.3 数据转换 134
5.3.1 数据转换概述 135
5.3.2 平滑处理 136
5.3.3 规范化处理 136
5.4 数据脱敏 137
5.4.1 数据脱敏原则 138
5.4.2 数据脱敏方法 139
5.5 数据预处理实训——使用Kettle进行数据清洗 139
5.5.1 Kettle中的基本概念 140
5.5.2 Kettle的基本功能 141
5.5.3 Kettle的安装 142
5.5.4 使用Kettle进行数据抽取 148
5.5.5 使用Kettle进行数据清洗与转换 153
5.6 本章小结 184
习题 185
第６章 数据分析与挖掘 188
6.1 数据分析概述 189
6.1.1 数据分析的定义 189
6.1.2 数据分析的流程 189
6.1.3 数据分析的方法 191
6.1.4 数据分析的应用案例 197
6.2 数据挖掘概述 197
6.2.1 数据挖掘的定义 198
6.2.2 数据挖掘的基本流程 198
6.2.3 数据挖掘的常用算法和工具 198
6.2.4 数据挖掘的应用 199
6.2.5 数据挖掘的未来发展 200
6.3 数据挖掘的常见算法 200
6.3.1 分类算法 200
6.3.2 聚类算法 203
6.3.3 关联规则挖掘算法 203
6.3.4 回归算法 204
6.4 数据分析与挖掘实训——使用Python实现K-Means聚类 206
6.4.1 K-Means聚类算法 206
6.4.2 加载和探索数据集 206
6.4.3 数据预处理 208
6.4.4 使用K-Means聚类算法进行聚类 210
6.4.5 可视化聚类结果 210
6.4.6 评估聚类结果 212
6.4.7 总结 212
6.5 本章小结 213
习题 214
第７章 数据可视化 216
7.1 数据可视化概述 217
7.1.1 概念 217
7.1.2 数据可视化的作用 219
7.1.3 数据可视化的发展历史及发展趋势 221
7.2 数据可视化的方法 222
7.2.1 数据可视化方法选择原则 222
7.2.2 常用的数据可视化方法 227
7.3 数据可视化的工具 237
7.3.1 拖曳式可视化工具 238
7.3.2 编程可视化库 240
7.3.3 地理数据可视化工具 246
7.3.4 数据可视化工具的选择 247
7.4 数据可视化实训——使用Python实现数据可视化 249
7.4.1 下载并安装Python 249
7.4.2 安装数据可视化库 251
7.4.3 数据可视化案例——Excel 252
7.4.4 数据可视化案例——Matplotlib库 254
7.4.5 数据可视化案例——Seaborn 255
7.4.6 数据可视化案例——pyecharts 259
7.5 本章小结 261
习题 262
第８章 大数据与信息安全 264
8.1 大数据安全概述 264
8.1.1 传统数据安全 265
8.1.2 大数据
