- 西安电子科技大学出版社
- 9787560657516
- 1版
- 349562
- 平装
- 16开
- 2020年9月
- 292
- 200
- TP274
- 自动化技术、计算技术
- 本科教材2
内容简介
目前，大数据已上升为国家战略，从辅助变为引领，从热点变为支点。因此，在各类以应用型人才培养为主的高校中，需要面向文、管、理、工等不同学科的学生普及大数据理念及其相关技术，以利于其在专业领域的实践中应用大数据理念，实施大数据技术。
本书从大数据概念及特点入手，以大数据应用的技术框架为主线，首先介绍了大数据采集与准备、大数据存储与计算处理、大数据分析及大数据可视化中的基本概念与技术，然后介绍了典型的大数据应用，最后讨论了大数据安全与伦理问题。
本书结合概念、技术及应用介绍大数据的基础知识，适合作为计算机、软件工程、数据科学、大数据及信息管理等方向本科生的大数据导论课程的教材，也可作为文、管类本科生、研究生的大数据通识课程的教材，还可作为相关研究人员、爱好者的参考用书。
本书从大数据概念及特点入手，以大数据应用的技术框架为主线，首先介绍了大数据采集与准备、大数据存储与计算处理、大数据分析及大数据可视化中的基本概念与技术，然后介绍了典型的大数据应用，最后讨论了大数据安全与伦理问题。
本书结合概念、技术及应用介绍大数据的基础知识，适合作为计算机、软件工程、数据科学、大数据及信息管理等方向本科生的大数据导论课程的教材，也可作为文、管类本科生、研究生的大数据通识课程的教材，还可作为相关研究人员、爱好者的参考用书。
目录
第1章 绪论 1
1.1 什么是大数据 1
1.1.1 “大数据”的由来 1
1.1.2 大数据的概念及特征 2
1.1.3 大数据的奥秘 3
1.2 相关术语 3
1.2.1 从数据到智慧 3
1.2.2 结构化与非结构化数据 5
1.3 大数据的应用、挑战与变革 7
1.3.1 大数据的应用 8
1.3.2 大数据带来的挑战 12
1.3.3 大数据带来的变革 12
1.4 大数据所涉及的技术 14
1.5 物联网、云计算与大数据 16
1.6 数据科学与大数据 17
1.6.1 数据科学 17
1.6.2 “数据科学与大数据技术”专业 18
习题 20
参考文献 20
第2章 大数据采集与准备 21
2.1 大数据来源与采集 21
2.1.1 大数据来源 21
2.1.2 大数据采集技术 22
2.2 大数据采集工具 23
2.2.1 网络爬虫 23
2.2.2 其他数据采集工具 27
2.3 数据准备 29
2.3.1 数据清洗 29
2.3.2 数据集成 32
2.3.3 数据变换 32
2.3.4 数据规约 34
习题 39
参考文献 39
第3章 大数据存储与计算处理 40
3.1 大数据存储 40
3.1.1 大数据如何存储 40
3.1.2 大数据存储问题 42
3.2 HDFS文件系统 43
3.2.1 相关概念 43
3.2.2 HDFS的结构 45
3.2.3 HDFS的存储原理 46
3.3 NoSQL数据库 47
3.3.1 NoSQL的产生 48
3.3.2 NoSQL与RDBMS 49
3.3.3 NoSQL的分类 50
3.3.4 NoSQL与NewSQL 50
3.4 HBase数据库 52
3.4.1 HBase简介 52
3.4.2 HBase的体系结构 53
3.4.3 HBase的数据模型 54
3.5 大数据处理 56
3.5.1 多处理器技术 56
3.5.2 并行计算 60
3.6 分布式计算 66
3.6.1 分布式计算简介 66
3.6.2 分布式计算的理论基础 67
3.7 MapReduce模型 69
3.7.1 MapReduce由来 69
3.7.2 MapReduce编程模型 72
3.7.3 YARN/MapReduce2 76
3.7.4 MapReduce性能调优 79
3.8 Spark通用计算框架 81
3.8.1 Spark简介 81
3.8.2 Spark生态系统 82
3.8.3 Spark框架及计算 83
3.8.4 Spark的部署模式 85
习题 87
参考文献 87
第4章 大数据分析 88
4.1 大数据分析概述 88
4.1.1 数据分析的原则 88
4.1.2 大数据分析的特点 89
4.1.3 大数据分析路线及流程 90
4.1.4 大数据分析的技术 91
4.1.5 大数据分析的难点 94
4.2 大数据分析模型 95
4.2.1 大数据分析模型建立方法 95
4.2.2 分类分析模型 97
4.2.3 关联分析模型 98
4.2.4 聚类分析模型 99
4.3 大数据分析算法 102
4.3.1 大数据算法概述 102
4.3.2 决策树算法简介 104
4.3.3 Apriori算法简介 108
4.3.4 K-Means算法简介 112
4.4 大数据分析的应用 113
4.4.1 文本分析 113
4.4.2 情感分析 116
4.4.3 推荐系统 117
4.5 大数据分析常用工具 119
习题 120
参考文献 121
第5章 大数据可视化 122
5.1 大数据可视化技术概述 122
5.1.1 数据可视化简史 122
5.1.2 数据可视化的功能 123
5.1.3 大数据可视化简介 125
5.2 大数据可视化技术基础 128
5.2.1 数据可视化流程 128
5.2.2 数据可视化编码 129
5.2.3 数据可视化设计 133
5.3 大数据可视化应用 135
5.3.1 文本可视化 135
5.3.2 日志数据可视化 138
5.3.3 社交网络可视化 138
5.3.4 地理信息可视化 140
5.3.5 数据可视化交互 141
5.4 大数据可视化软件和工具 142
5.4.1 大数据可视化软件分类 143
5.4.2 科学可视化软件和工具 143
5.4.3 信息可视化软件和工具 144
5.4.4 可视化分析软件和工具 146
5.5 Python数据可视化示例 146
5.5.1 绘制饼图 146
5.5.2 绘制箱线图 147
5.5.3 绘制风杆 149
5.5.4 使用散点图分析数据 152
习题 154
参考文献 154
第6章 大数据应用 156
6.1 互联网行业大数据 156
6.2 教育大数据 160
6.3 农业大数据 163
6.4 旅游大数据 166
习题 168
参考文献 168
第7章 大数据安全与伦理 169
7.1 大数据安全 169
7.1.1 大数据安全挑战 169
7.1.2 大数据安全问题及对策 172
7.1.3 大数据安全技术 175
7.2 大数据伦理 176
7.2.1 什么是伦理 176
7.2.2 大数据伦理问题 177
7.2.3 农业大数据技术的伦理问题 178
习题 180
参考文献 181
附录A Hadoop安装配置 182
附录B Python语言简介 186
1.1 什么是大数据 1
1.1.1 “大数据”的由来 1
1.1.2 大数据的概念及特征 2
1.1.3 大数据的奥秘 3
1.2 相关术语 3
1.2.1 从数据到智慧 3
1.2.2 结构化与非结构化数据 5
1.3 大数据的应用、挑战与变革 7
1.3.1 大数据的应用 8
1.3.2 大数据带来的挑战 12
1.3.3 大数据带来的变革 12
1.4 大数据所涉及的技术 14
1.5 物联网、云计算与大数据 16
1.6 数据科学与大数据 17
1.6.1 数据科学 17
1.6.2 “数据科学与大数据技术”专业 18
习题 20
参考文献 20
第2章 大数据采集与准备 21
2.1 大数据来源与采集 21
2.1.1 大数据来源 21
2.1.2 大数据采集技术 22
2.2 大数据采集工具 23
2.2.1 网络爬虫 23
2.2.2 其他数据采集工具 27
2.3 数据准备 29
2.3.1 数据清洗 29
2.3.2 数据集成 32
2.3.3 数据变换 32
2.3.4 数据规约 34
习题 39
参考文献 39
第3章 大数据存储与计算处理 40
3.1 大数据存储 40
3.1.1 大数据如何存储 40
3.1.2 大数据存储问题 42
3.2 HDFS文件系统 43
3.2.1 相关概念 43
3.2.2 HDFS的结构 45
3.2.3 HDFS的存储原理 46
3.3 NoSQL数据库 47
3.3.1 NoSQL的产生 48
3.3.2 NoSQL与RDBMS 49
3.3.3 NoSQL的分类 50
3.3.4 NoSQL与NewSQL 50
3.4 HBase数据库 52
3.4.1 HBase简介 52
3.4.2 HBase的体系结构 53
3.4.3 HBase的数据模型 54
3.5 大数据处理 56
3.5.1 多处理器技术 56
3.5.2 并行计算 60
3.6 分布式计算 66
3.6.1 分布式计算简介 66
3.6.2 分布式计算的理论基础 67
3.7 MapReduce模型 69
3.7.1 MapReduce由来 69
3.7.2 MapReduce编程模型 72
3.7.3 YARN/MapReduce2 76
3.7.4 MapReduce性能调优 79
3.8 Spark通用计算框架 81
3.8.1 Spark简介 81
3.8.2 Spark生态系统 82
3.8.3 Spark框架及计算 83
3.8.4 Spark的部署模式 85
习题 87
参考文献 87
第4章 大数据分析 88
4.1 大数据分析概述 88
4.1.1 数据分析的原则 88
4.1.2 大数据分析的特点 89
4.1.3 大数据分析路线及流程 90
4.1.4 大数据分析的技术 91
4.1.5 大数据分析的难点 94
4.2 大数据分析模型 95
4.2.1 大数据分析模型建立方法 95
4.2.2 分类分析模型 97
4.2.3 关联分析模型 98
4.2.4 聚类分析模型 99
4.3 大数据分析算法 102
4.3.1 大数据算法概述 102
4.3.2 决策树算法简介 104
4.3.3 Apriori算法简介 108
4.3.4 K-Means算法简介 112
4.4 大数据分析的应用 113
4.4.1 文本分析 113
4.4.2 情感分析 116
4.4.3 推荐系统 117
4.5 大数据分析常用工具 119
习题 120
参考文献 121
第5章 大数据可视化 122
5.1 大数据可视化技术概述 122
5.1.1 数据可视化简史 122
5.1.2 数据可视化的功能 123
5.1.3 大数据可视化简介 125
5.2 大数据可视化技术基础 128
5.2.1 数据可视化流程 128
5.2.2 数据可视化编码 129
5.2.3 数据可视化设计 133
5.3 大数据可视化应用 135
5.3.1 文本可视化 135
5.3.2 日志数据可视化 138
5.3.3 社交网络可视化 138
5.3.4 地理信息可视化 140
5.3.5 数据可视化交互 141
5.4 大数据可视化软件和工具 142
5.4.1 大数据可视化软件分类 143
5.4.2 科学可视化软件和工具 143
5.4.3 信息可视化软件和工具 144
5.4.4 可视化分析软件和工具 146
5.5 Python数据可视化示例 146
5.5.1 绘制饼图 146
5.5.2 绘制箱线图 147
5.5.3 绘制风杆 149
5.5.4 使用散点图分析数据 152
习题 154
参考文献 154
第6章 大数据应用 156
6.1 互联网行业大数据 156
6.2 教育大数据 160
6.3 农业大数据 163
6.4 旅游大数据 166
习题 168
参考文献 168
第7章 大数据安全与伦理 169
7.1 大数据安全 169
7.1.1 大数据安全挑战 169
7.1.2 大数据安全问题及对策 172
7.1.3 大数据安全技术 175
7.2 大数据伦理 176
7.2.1 什么是伦理 176
7.2.2 大数据伦理问题 177
7.2.3 农业大数据技术的伦理问题 178
习题 180
参考文献 181
附录A Hadoop安装配置 182
附录B Python语言简介 186
