- 机械工业出版社
- 9787111687375
- 1-2
- 421391
- 46257865-9
- 平装
- 16开
- 2021-09
- 176
- 116
- 工学
- 计算机科学与技术
- TP
- 数据科学与大数据技术
- 本科
内容简介
本着“以小见大、实践为先”的理念，在工业大数据的背景下，本书阐述了数据的“前世今生”与内涵、外延，深入浅出地梳理了数据处理的各个阶段及典型框架，内容包括大数据采集、大数据预处理、大数据存储、大数据分析与可视化等，同时还介绍了大数据技术的典型应用。
本书注重学科基础上的知识体系与实践能力，适合作为数据科学相关专业学生的导论教材，也可作为信息类其他专业学生的通识教材，以培养学生的数据思维意识。
本书注重学科基础上的知识体系与实践能力，适合作为数据科学相关专业学生的导论教材，也可作为信息类其他专业学生的通识教材，以培养学生的数据思维意识。
目录
目 录
前 言
第1章 认识大数据 1
1.1 信息爆炸 1
1.1.1 大数据时代 1
1.1.2 数据、信息与知识 2
1.1.3 数据的来源 3
1.2 大数据的概念与特征 4
1.2.1 大数据的概念 4
1.2.2 大数据的特征 4
1.2.3 大数据的类型 5
1.3 大数据的技术架构及处理技术 6
1.3.1 大数据的技术架构 6
1.3.2 大数据的处理技术 7
1.4 大数据处理的集成平台 7
1.5 工业大数据 8
1.5.1 工业大数据及其特征 8
1.5.2 工业大数据技术及应用 9
1.5.3 工业大数据面临的挑战 10
本章小结 12
阅读材料：啤酒与尿布 12
习题 12
第2章 大数据学科与职业 13
2.1 大数据学科 13
2.2 大数据专业人才培养方案 14
2.3 大数据职业道德 16
本章小结 18
阅读材料：道格 切特 18
习题 19
第3章 大数据生态系统 20
3.1 大数据生态系统概述 20
3.2 并行与分布式处理 21
3.2.1 并行处理 21
3.2.2 分布式处理 22
3.3 Hadoop 22
3.3.1 Hadoop概述 22
3.3.2 Hadoop生态圈 25
3.4 Spark 25
3.4.1 Spark概述 25
3.4.2 Spark生态圈 26
3.5 Storm 26
3.5.1 Storm概述 27
3.5.2 Storm集群架构与工作流程 27
本章小结 28
阅读材料：南森 马茨 28
习题 29
第4章 大数据采集与预处理 30
4.1 大数据采集与预处理概述 30
4.1.1 大数据采集技术 30
4.1.2 大数据预处理技术 32
4.2 大数据采集方法及工具 33
4.2.1 网络数据采集方法 33
4.2.2 系统日志采集方法 36
4.2.3 科研数据采集方法 40
4.2.4 关系型数据库数据采集方法 42
4.3 大数据预处理方法及工具 43
4.3.1 数据清洗 43
4.3.2 数据集成 45
4.3.3 数据归约 46
4.3.4 数据变换 49
本章小结 53
阅读材料：园中有金 53
习题 53
第5章 大数据存储 54
5.1 集中式存储与分布式存储 54
5.2 非结构化数据库 55
5.2.1 NewSQL 56
5.2.2 云数据库 56
5.2.3 HBase 57
5.2.4 MongoDB 58
5.3 数据仓库与OLAP 59
5.3.1 概述 59
5.3.2 基本架构 60
5.3.3 典型应用 62
本章小结 62
阅读材料：盘古系统 63
习题 63
第6章 大数据分析 64
6.1 大数据分析与商业智能 64
6.1.1 大数据与大数据分析 65
6.1.2 大数据分析的种类 66
6.2 大数据统计分析 67
6.2.1 分类问题 68
6.2.2 回归问题 72
6.2.3 聚类问题 74
6.2.4 人工神经网络 75
6.2.5 数据建模 80
6.3 大数据分析的应用与挑战 80
6.3.1 Web挖掘 81
6.3.2 文本挖掘 84
6.3.3 社会网络分析 87
6.3.4 智能制造中的数据分析 89
本章小结 89
阅读材料：贝叶斯 89
习题 90
第7章 大数据可视化 91
7.1 数据可视化概述 91
7.1.1 数据可视化的特点 91
7.1.2 数据可视化的典型应用 92
7.2 数据可视化的常用工具 92
7.2.1 Tableau 92
7.2.2 Matplotlib 93
7.2.3 ECharts 94
本章小结 95
阅读材料：马克 扎克伯格 95
习题 96
第8章 大数据技术的典型应用 97
8.1 案例一：大型工业设备实时监
测系统 97
8.1.1 集群部署与配置 97
8.1.2 数据表结构 101
8.2 案例二：基于MapReduce的
薪资核算 102
参考文献 107
前 言
第1章 认识大数据 1
1.1 信息爆炸 1
1.1.1 大数据时代 1
1.1.2 数据、信息与知识 2
1.1.3 数据的来源 3
1.2 大数据的概念与特征 4
1.2.1 大数据的概念 4
1.2.2 大数据的特征 4
1.2.3 大数据的类型 5
1.3 大数据的技术架构及处理技术 6
1.3.1 大数据的技术架构 6
1.3.2 大数据的处理技术 7
1.4 大数据处理的集成平台 7
1.5 工业大数据 8
1.5.1 工业大数据及其特征 8
1.5.2 工业大数据技术及应用 9
1.5.3 工业大数据面临的挑战 10
本章小结 12
阅读材料：啤酒与尿布 12
习题 12
第2章 大数据学科与职业 13
2.1 大数据学科 13
2.2 大数据专业人才培养方案 14
2.3 大数据职业道德 16
本章小结 18
阅读材料：道格 切特 18
习题 19
第3章 大数据生态系统 20
3.1 大数据生态系统概述 20
3.2 并行与分布式处理 21
3.2.1 并行处理 21
3.2.2 分布式处理 22
3.3 Hadoop 22
3.3.1 Hadoop概述 22
3.3.2 Hadoop生态圈 25
3.4 Spark 25
3.4.1 Spark概述 25
3.4.2 Spark生态圈 26
3.5 Storm 26
3.5.1 Storm概述 27
3.5.2 Storm集群架构与工作流程 27
本章小结 28
阅读材料：南森 马茨 28
习题 29
第4章 大数据采集与预处理 30
4.1 大数据采集与预处理概述 30
4.1.1 大数据采集技术 30
4.1.2 大数据预处理技术 32
4.2 大数据采集方法及工具 33
4.2.1 网络数据采集方法 33
4.2.2 系统日志采集方法 36
4.2.3 科研数据采集方法 40
4.2.4 关系型数据库数据采集方法 42
4.3 大数据预处理方法及工具 43
4.3.1 数据清洗 43
4.3.2 数据集成 45
4.3.3 数据归约 46
4.3.4 数据变换 49
本章小结 53
阅读材料：园中有金 53
习题 53
第5章 大数据存储 54
5.1 集中式存储与分布式存储 54
5.2 非结构化数据库 55
5.2.1 NewSQL 56
5.2.2 云数据库 56
5.2.3 HBase 57
5.2.4 MongoDB 58
5.3 数据仓库与OLAP 59
5.3.1 概述 59
5.3.2 基本架构 60
5.3.3 典型应用 62
本章小结 62
阅读材料：盘古系统 63
习题 63
第6章 大数据分析 64
6.1 大数据分析与商业智能 64
6.1.1 大数据与大数据分析 65
6.1.2 大数据分析的种类 66
6.2 大数据统计分析 67
6.2.1 分类问题 68
6.2.2 回归问题 72
6.2.3 聚类问题 74
6.2.4 人工神经网络 75
6.2.5 数据建模 80
6.3 大数据分析的应用与挑战 80
6.3.1 Web挖掘 81
6.3.2 文本挖掘 84
6.3.3 社会网络分析 87
6.3.4 智能制造中的数据分析 89
本章小结 89
阅读材料：贝叶斯 89
习题 90
第7章 大数据可视化 91
7.1 数据可视化概述 91
7.1.1 数据可视化的特点 91
7.1.2 数据可视化的典型应用 92
7.2 数据可视化的常用工具 92
7.2.1 Tableau 92
7.2.2 Matplotlib 93
7.2.3 ECharts 94
本章小结 95
阅读材料：马克 扎克伯格 95
习题 96
第8章 大数据技术的典型应用 97
8.1 案例一：大型工业设备实时监
测系统 97
8.1.1 集群部署与配置 97
8.1.2 数据表结构 101
8.2 案例二：基于MapReduce的
薪资核算 102
参考文献 107
