- 中国铁道出版社
- 9787113322694
- 572114
- 16开
- 2025-08
- 工学
- 计算机类
- 计算机类
- 本科
作者简介
内容简介
本书为高等教育新工科信息技术课程系列教材之一,以应用型人才培养为主要目标。
本书从大数据概念及特点切入,紧紧围绕大数据应用的技术框架这一主线展开,详细论述了大数据采集与预处理、大数据存储与计算处理、大数据分析、大数据可视化、大数据应用、大数据安全与伦理等内容。
本书适合作为高等院校数据科学与大数据技术、软件工程等计算机类或电子信息类专业的大数据课程教材,也可作为其他读者深入了解大数据技术的参考书。
本书从大数据概念及特点切入,紧紧围绕大数据应用的技术框架这一主线展开,详细论述了大数据采集与预处理、大数据存储与计算处理、大数据分析、大数据可视化、大数据应用、大数据安全与伦理等内容。
本书适合作为高等院校数据科学与大数据技术、软件工程等计算机类或电子信息类专业的大数据课程教材,也可作为其他读者深入了解大数据技术的参考书。
目录
第1章绪论1
1.1大数据的定义1
1.1.1“大数据”的由来1
1.1.2大数据的概念及特征4
1.1.3大数据的奥秘7
1.2相关术语8
1.2.1从数据到智慧8
1.2.2结构化与非结构化数据9
1.3大数据带来的价值、挑战与变革11
1.3.1大数据带来的价值12
1.3.2大数据带来的挑战12
1.3.3大数据带来的变革15
1.4大数据的相关技术16
1.5数据科学与大数据20
1.5.1数据科学的内涵20
1.5.2数据科学与大数据技术20
1.6数据要素与大数据21
1.6.1数据要素的内涵21
1.6.2数据要素与大数据的关系23
1.7大语言模型与大数据24
1.7.1大语言模型的内涵24
1.7.2大语言模型与大数据的关系26
习题27
第2章大数据采集与预处理28
2.1大数据来源与采集28
2.1.1大数据来源28
2.1.2大数据采集技术29
2.2大数据采集的实现31
2.2.1网络爬虫31
2.2.2其他数据采集工具35
2.3数据预处理38
2.3.1数据清洗39
2.3.2数据集成42
2.3.3数据转换43
2.3.4数据规约45
2.3.5数据预处理的实现52
习题55
第3章大数据存储与计算处理56
3.1大数据存储56
3.1.1大数据如何存储56
3.1.2大数据存储的问题59
3.2HDFS文件系统60
3.2.1相关概念60
3.2.2HDFS分布式文件系统的结构62
3.2.3HDFS存储原理62
3.3NoSQL数据库64
3.3.1NoSQL的产生65
3.3.2NoSQL与RDBMS66
3.3.3NoSQL的分类67
3.3.4NoSQL与NewSQL70
3.4HBase数据库71
3.4.1HBase简介71
3.4.2HBase体系结构73
3.4.3HBase数据模型75
3.5大数据处理76
3.5.1多处理器技术76
3.5.2并行计算80
3.6分布式计算86
3.6.1分布式计算简介86
3.6.2分布式计算理论基础89
3.7MapReduce模型91
3.7.1MapReduce的由来91
3.7.2MapReduce编程模型93
3.7.3YARN/MapReducev298
3.7.4MapReduce性能调优101
3.8Spark通用计算框架103
3.8.1Spark简介103
3.8.2Spark生态系统104
3.8.3Spark框架及计算104
3.8.4Spark的部署模式107
习题108
第4章大数据分析109
4.1大数据分析概述109
4.1.1数据分析的原则109
4.1.2大数据分析的特点110
4.1.3大数据分析路线及流程111
4.1.4大数据分析技术113
4.1.5大数据分析的难点115
4.2大数据分析模型116
4.2.1大数据分析模型建立方法116
4.2.2分类分析模型118
4.2.3关联分析模型119
4.2.4聚类分析模型120
4.3大数据分析算法123
4.3.1大数据算法概述123
4.3.2决策树算法简介125
4.3.3Apriori算法简介130
4.3.4k-means算法简介133
4.4大数据分析应用135
4.4.1文本分析135
4.4.2情感分析137
4.4.3推荐系统138
4.5大数据分析常用工具140
习题142
第5章大数据可视化143
5.1大数据可视化技术概述143
5.1.1数据可视化简史143
5.1.2数据可视化的功能144
5.1.3大数据可视化简介146
5.2大数据可视化技术基础149
5.2.1数据可视化流程149
5.2.2数据可视化编码151
5.2.3数据可视化设计155
5.3大数据可视化应用157
5.3.1文本可视化157
5.3.2日志数据可视化160
5.3.3社交网络可视化160
5.3.4地理信息可视化162
5.3.5数据可视化交互163
5.4大数据可视化软件和工具165
5.4.1大数据可视化软件分类165
5.4.2科学可视化软件和工具165
5.4.3信息可视化软件和工具166
5.4.4可视化分析软件和工具167
5.5数据可视化示例168
5.5.1Excel绘制柱形图168
5.5.2Echarts绘制圆环图169
5.5.3Echarts绘制矩形树图171
5.5.4Python绘制雷达图175
5.5.5Python绘制风杆176
5.5.6Python使用散点图分析数据179
习题181
第6章大数据应用182
6.1互联网行业大数据182
6.1.1电商领域182
6.1.2内容服务领域184
6.2政务大数据187
6.2.1政务大数据简介188
6.2.2政务服务热线大数据分析项目188
6.3交通大数据192
6.3.1交通大数据简介193
6.3.2交通大数据智慧平台项目194
6.4旅游大数据199
习题202
第7章大数据安全与伦理203
7.1大数据安全203
7.1.1大数据安全挑战203
7.1.2大数据安全问题及对策207
7.1.3大数据安全技术210
7.1.4隐私保护211
7.2大数据伦理214
7.2.1伦理的定义214
7.2.2大数据伦理问题215
7.2.3农业大数据技术的伦理问题217
7.2.4大数据伦理治理路径219
习题222
参考文献223
1.1大数据的定义1
1.1.1“大数据”的由来1
1.1.2大数据的概念及特征4
1.1.3大数据的奥秘7
1.2相关术语8
1.2.1从数据到智慧8
1.2.2结构化与非结构化数据9
1.3大数据带来的价值、挑战与变革11
1.3.1大数据带来的价值12
1.3.2大数据带来的挑战12
1.3.3大数据带来的变革15
1.4大数据的相关技术16
1.5数据科学与大数据20
1.5.1数据科学的内涵20
1.5.2数据科学与大数据技术20
1.6数据要素与大数据21
1.6.1数据要素的内涵21
1.6.2数据要素与大数据的关系23
1.7大语言模型与大数据24
1.7.1大语言模型的内涵24
1.7.2大语言模型与大数据的关系26
习题27
第2章大数据采集与预处理28
2.1大数据来源与采集28
2.1.1大数据来源28
2.1.2大数据采集技术29
2.2大数据采集的实现31
2.2.1网络爬虫31
2.2.2其他数据采集工具35
2.3数据预处理38
2.3.1数据清洗39
2.3.2数据集成42
2.3.3数据转换43
2.3.4数据规约45
2.3.5数据预处理的实现52
习题55
第3章大数据存储与计算处理56
3.1大数据存储56
3.1.1大数据如何存储56
3.1.2大数据存储的问题59
3.2HDFS文件系统60
3.2.1相关概念60
3.2.2HDFS分布式文件系统的结构62
3.2.3HDFS存储原理62
3.3NoSQL数据库64
3.3.1NoSQL的产生65
3.3.2NoSQL与RDBMS66
3.3.3NoSQL的分类67
3.3.4NoSQL与NewSQL70
3.4HBase数据库71
3.4.1HBase简介71
3.4.2HBase体系结构73
3.4.3HBase数据模型75
3.5大数据处理76
3.5.1多处理器技术76
3.5.2并行计算80
3.6分布式计算86
3.6.1分布式计算简介86
3.6.2分布式计算理论基础89
3.7MapReduce模型91
3.7.1MapReduce的由来91
3.7.2MapReduce编程模型93
3.7.3YARN/MapReducev298
3.7.4MapReduce性能调优101
3.8Spark通用计算框架103
3.8.1Spark简介103
3.8.2Spark生态系统104
3.8.3Spark框架及计算104
3.8.4Spark的部署模式107
习题108
第4章大数据分析109
4.1大数据分析概述109
4.1.1数据分析的原则109
4.1.2大数据分析的特点110
4.1.3大数据分析路线及流程111
4.1.4大数据分析技术113
4.1.5大数据分析的难点115
4.2大数据分析模型116
4.2.1大数据分析模型建立方法116
4.2.2分类分析模型118
4.2.3关联分析模型119
4.2.4聚类分析模型120
4.3大数据分析算法123
4.3.1大数据算法概述123
4.3.2决策树算法简介125
4.3.3Apriori算法简介130
4.3.4k-means算法简介133
4.4大数据分析应用135
4.4.1文本分析135
4.4.2情感分析137
4.4.3推荐系统138
4.5大数据分析常用工具140
习题142
第5章大数据可视化143
5.1大数据可视化技术概述143
5.1.1数据可视化简史143
5.1.2数据可视化的功能144
5.1.3大数据可视化简介146
5.2大数据可视化技术基础149
5.2.1数据可视化流程149
5.2.2数据可视化编码151
5.2.3数据可视化设计155
5.3大数据可视化应用157
5.3.1文本可视化157
5.3.2日志数据可视化160
5.3.3社交网络可视化160
5.3.4地理信息可视化162
5.3.5数据可视化交互163
5.4大数据可视化软件和工具165
5.4.1大数据可视化软件分类165
5.4.2科学可视化软件和工具165
5.4.3信息可视化软件和工具166
5.4.4可视化分析软件和工具167
5.5数据可视化示例168
5.5.1Excel绘制柱形图168
5.5.2Echarts绘制圆环图169
5.5.3Echarts绘制矩形树图171
5.5.4Python绘制雷达图175
5.5.5Python绘制风杆176
5.5.6Python使用散点图分析数据179
习题181
第6章大数据应用182
6.1互联网行业大数据182
6.1.1电商领域182
6.1.2内容服务领域184
6.2政务大数据187
6.2.1政务大数据简介188
6.2.2政务服务热线大数据分析项目188
6.3交通大数据192
6.3.1交通大数据简介193
6.3.2交通大数据智慧平台项目194
6.4旅游大数据199
习题202
第7章大数据安全与伦理203
7.1大数据安全203
7.1.1大数据安全挑战203
7.1.2大数据安全问题及对策207
7.1.3大数据安全技术210
7.1.4隐私保护211
7.2大数据伦理214
7.2.1伦理的定义214
7.2.2大数据伦理问题215
7.2.3农业大数据技术的伦理问题217
7.2.4大数据伦理治理路径219
习题222
参考文献223
