- 机械工业出版社
- 9787111719113
- 1-1
- 462571
- 61247523-6
- 16开
- 2023-02
- 大数据技术
- 高职
内容简介
本书面向智能控制技术专业人才培养需求，紧贴产业和企业应用
实际，遵循工业互联网产业联盟制定的《工业互联网体系架构（版本
2.0）》《工业大数据技术架构白皮书》《工业大数据分析指南》等技
术框架，从工业大数据采集、预处理、存储、查询、对象建模、分析、
预测、可视化以及应用等方面介绍了工业大数据的采集、处理与应用方
法。通过学习，学生应掌握工业大数据采集系统的构建与维护、预处理
与存取、分析与可视化工具的使用方法，理解工业大数据在设备状态评
估、设备故障预警和产品质量分析等方面的应用场景和方法。本书在内
容编排形式上采用项目牵引、任务驱动方式，逻辑上分成理论教学和实
践教学两条主线。根据不同的需求，理论与实践部分可以合并使用，也
可以单独使用。
本书可作为高等职业院校自动化类和计算机类相关专业的教材，也
可以作为职工大学、成人教育和中等职业院校相关专业的试用教材以及
工程技术人员的参考用书。
本书配有微课视频，读者可扫描书中的二维码观看。本书配有电
子课件，凡使用本书作为教材的教师可登录机械工业出版社教育服务网
www.cmpedu.com注册后下载。咨询电话：010-88379375。
实际，遵循工业互联网产业联盟制定的《工业互联网体系架构（版本
2.0）》《工业大数据技术架构白皮书》《工业大数据分析指南》等技
术框架，从工业大数据采集、预处理、存储、查询、对象建模、分析、
预测、可视化以及应用等方面介绍了工业大数据的采集、处理与应用方
法。通过学习，学生应掌握工业大数据采集系统的构建与维护、预处理
与存取、分析与可视化工具的使用方法，理解工业大数据在设备状态评
估、设备故障预警和产品质量分析等方面的应用场景和方法。本书在内
容编排形式上采用项目牵引、任务驱动方式，逻辑上分成理论教学和实
践教学两条主线。根据不同的需求，理论与实践部分可以合并使用，也
可以单独使用。
本书可作为高等职业院校自动化类和计算机类相关专业的教材，也
可以作为职工大学、成人教育和中等职业院校相关专业的试用教材以及
工程技术人员的参考用书。
本书配有微课视频，读者可扫描书中的二维码观看。本书配有电
子课件，凡使用本书作为教材的教师可登录机械工业出版社教育服务网
www.cmpedu.com注册后下载。咨询电话：010-88379375。
目录
前言
二维码索引
绪论 1
项目1 了解工业大数据 4
【知识目标】 4
【技能目标】 4
【项目背景】 4
任务1-1 认识工业大数据 4
【任务描述】 4
【相关知识】 5
一、大数据的概念和特征 5
二、大数据的分类 6
三、数据规模的度量 7
【任务实施】 7
一、认识工业大数据的来源 7
二、认识工业大数据的特征 10
三、工业大数据实例 11
任务1-2 对工业大数据及其应用
进行分类 14
【任务描述】 14
【相关知识】 14
一、工业企业的运行流程 14
二、工业大数据的分类 15
三、工业大数据的应用场景 17
【任务实施】 19
一、认识工业大数据的应用类型 19
二、工业大数据应用实例 20
任务1-3 了解工业大数据系统架构 23
【任务描述】 23
【相关知识】 24
一、静态数据和流数据 24
二、批量计算和流式计算 24
【任务实施】 26
一、认识工业大数据的架构 26
二、认识Hadoop 28
三、认识Hadoop分布式文件系统 28
四、认识并行计算框架MapReduce 29
五、安装Linux操作系统 30
六、安装Hadoop 30
拓展知识 大数据技术框架 32
项目2 工业大数据采集 36
【知识目标】 36
【技能目标】 36
【项目背景】 36
任务2-1 了解工业数据采集 36
【任务描述】 36
【相关知识】 37
一、工业现场网络 37
二、工业数据采集常见的网络协议 39
三、工业数据的采集方式 42
四、数据的存储 45
【任务实施】 45
一、准备安装IoTHub 45
二、安装Sentinel Runtime 45
三、安装IoTHub 46
任务2-2 采集PLC数据 48
【任务描述】 48
【相关知识】 48
一、PLC的组成 48
二、PLC的特点 49
三、PLC连接的信号类型 49
四、PLC的通信 50
【任务实施】 50
一、安装Agent 51
二、创建并连接控制器 53
三、定义变量 56
目 录
— VIII —
工业大数据采集、处理与应用
四、数据存储 58
任务2-3 采集PTL数据 65
【任务描述】 65
【相关知识】 66
一、PTL系统的构成 66
二、PTL系统的特点 68
三、PTL系统的功能 68
四、PTL系统的结构 68
【任务实施】 69
一、安装Agent 70
二、创建并连接控制器 71
三、查看变量 74
四、任务下发 75
五、数据存储 77
拓展知识 ERP与MES的集成 78
项目3 工业大数据预处理 81
【知识目标】 81
【技能目标】 81
【项目背景】 81
任务3-1 清洗、转换、加载工业大数据 81
【任务描述】 81
【相关知识】 83
一、ETL的概念 83
二、数据抽取 83
三、数据清洗 84
四、数据转换 85
五、数据加载 85
六、ETL工具Kettle 86
【任务实施】 89
一、下载、安装并启动Kettle 90
二、分析数据问题 91
三、处理流程设计 93
四、读入数据 94
五、过滤数据 97
六、补缺失值 98
七、替换数据列 99
八、值映射 100
九、输出到文件 101
十、执行转换 102
十一、保存转换文件 102
任务3-2 建立数据仓库 102
【任务描述】 102
【相关知识】 103
一、数据库 103
二、数据仓库 104
三、Hive 105
【任务实施】 108
一、下载并安装Hive 108
二、安装并配置MySQL 110
三、启动Hive 110
四、创建数据库 110
五、创建数据表 111
六、加载数据 112
任务3-3 查询工业大数据 112
【任务描述】 112
【相关知识】 112
Hive的查询语言 112
【任务实施】 114
一、准备工作 114
二、启动Hive 114
三、打开数据库 114
四、查询 114
五、分组统计 115
六、排序1 115
七、排序2 115
八、条件查询 115
九、输出文件 116
拓展知识 116
一、数据仓库的建模 116
二、数据仓库的分层 118
项目4 工业大数据建模 120
【知识目标】 120
【技能目标】 120
【项目背景】 120
任务4-1 使用UML建模工具 120
【任务描述】 120
【相关知识】 121
一、UML 121
— IX —
目 录
二、转换至关系模式 124
三、UML工具 125
【任务实施】 126
一、安装StarUML 126
二、新建工程 126
三、操作界面 127
四、基本操作 128
五、画类 132
六、画关系 132
任务4-2 建立设备信息模型 133
【任务描述】 133
【相关知识】 134
一、信息模型 134
二、设备信息 135
【任务实施】 137
一、新建工程 137
二、添加类图 137
三、画类 137
四、添加属性 137
任务4-3 建立生产过程信息模型 138
【任务描述】 138
【相关知识】 138
一、生产过程 138
二、生产过程信息示例 140
【任务实施】 141
一、新建工程 141
二、添加类图 141
三、画类 141
四、添加属性 141
五、添加关系 141
拓展知识 数字孪生 142
项目5 工业大数据分析 143
【知识目标】 143
【技能目标】 143
【项目背景】 143
任务5-1 使用大数据分析工具 143
【任务描述】 143
【相关知识】 144
一、大数据分析过程 144
二、大数据分析的关键 145
三、基于大数据的机器学习 146
【任务实施】 147
一、下载并安装Weka 147
二、Weka的操作界面 149
三、Weka的数据及类型 150
四、Weka的文件格式 151
任务5-2 使用回归算法预测 152
【任务描述】 152
【相关知识】 152
一、分类预测 152
二、回归分析 153
【任务实施】 155
一、导入CPU样本数据 155
二、初步分析数据变化趋势 156
三、选择回归算法 157
四、设置训练集和验证集 158
五、执行训练 159
六、分析误差 159
七、保存模型 160
任务5-3 使用分类算法预测 160
【任务描述】 160
【相关知识】 161
一、分类算法概述 161
二、模型的评估 162
三、ROC和AUC 162
【任务实施】 162
一、导入玻璃数据 162
二、使用分类算法 163
三、设置训练集和验证集 164
四、执行训练 164
五、误差分析 165
拓展知识 166
一、集成学习 166
二、聚类分析 168
三、关联规则 169
四、时间序列 169
项目6 工业大数据可视化 170
【知识目标】 170
— X —
工业大数据采集、处理与应用
【技能目标】 170
【项目背景】 170
任务6-1 变频电动机转速数据可视化 170
【任务描述】 170
【相关知识】 171
一、交流电动机 171
二、变频器 171
三、数据图表之仪表盘 172
【任务实施】 173
一、 新建Dashboard（数据看板）
可视化界面 173
二、 添加控件Gauge（轨距表）
并配置相关属性 175
任务6-2 立体库物料数据可视化 176
【任务描述】 176
【相关知识】 177
一、立体库 177
二、WMS 177
【任务实施】 178
一、 新建Dashboard（数据看板）
可视化界面 179
二、 添加控件Pie Chart（圆饼图）
并配置相关属性 179
三、 添加控件Text Value（文本值）
并配置相关属性 180
任务6-3 订单生产趋势数据可视化 181
【任务描述】 181
【相关知识】 181
一、生产计划或生产订单 181
二、制造执行系统（MES） 182
三、MES应用实例 182
【任务实施】 183
一、 新建Dashboard（数据看板）
可视化界面 183
二、 添加控件Line Chart（折线图）
并配置相关属性 184
任务6-4 数字化车间装配工位
订单可视化 185
【任务描述】 185
【相关知识】 185
一、产品装配过程的订单显示 185
二、工业大数据可视化工具 186
【任务实施】 187
一、选择导入数据源 189
二、 新建Dashboard（数据看板）
可视化界面，并配置相关
属性 191
三、 添加Panel（面板），选择导入
数据值，配置Panel相关属性 193
四、分享数据看板 197
拓展知识 198
一、常见数据图表的分类 198
二、 工业数据可视化中的三维
可视化 200
项目7 工业大数据应用 204
【知识目标】 204
【技能目标】 204
【项目背景】 204
任务7-1 认识数据驱动的设备状态
评估应用 205
【任务描述】 205
【相关知识】 205
一、数据驱动的制造 205
二、设备的预测维护 206
三、设备健康状态评估 207
【任务实施】 209
一、 了解半导体芯片制造行业
对大数据应用的需求 209
二、 了解设备健康监测与预测
维护平台 209
三、平台应用示例 210
任务7-2 认识数据驱动的设备故障
检测应用 212
【任务描述】 212
【任务实施】 212
一、 了解风力发电行业对
大数据应用的需求 212
二、了解设备故障检测平台 212
三、平台应用示例 213
— XI —
目 录
任务7-3 认识数据驱动的质量检测和工艺优
化应用 214
【任务描述】 214
【任务实施】 214
一、 了解汽车整车生产对大
数据应用的需求 214
二、了解质量检测和工艺优化平台 215
三、平台应用示例 216
参考文献 217
二维码索引
绪论 1
项目1 了解工业大数据 4
【知识目标】 4
【技能目标】 4
【项目背景】 4
任务1-1 认识工业大数据 4
【任务描述】 4
【相关知识】 5
一、大数据的概念和特征 5
二、大数据的分类 6
三、数据规模的度量 7
【任务实施】 7
一、认识工业大数据的来源 7
二、认识工业大数据的特征 10
三、工业大数据实例 11
任务1-2 对工业大数据及其应用
进行分类 14
【任务描述】 14
【相关知识】 14
一、工业企业的运行流程 14
二、工业大数据的分类 15
三、工业大数据的应用场景 17
【任务实施】 19
一、认识工业大数据的应用类型 19
二、工业大数据应用实例 20
任务1-3 了解工业大数据系统架构 23
【任务描述】 23
【相关知识】 24
一、静态数据和流数据 24
二、批量计算和流式计算 24
【任务实施】 26
一、认识工业大数据的架构 26
二、认识Hadoop 28
三、认识Hadoop分布式文件系统 28
四、认识并行计算框架MapReduce 29
五、安装Linux操作系统 30
六、安装Hadoop 30
拓展知识 大数据技术框架 32
项目2 工业大数据采集 36
【知识目标】 36
【技能目标】 36
【项目背景】 36
任务2-1 了解工业数据采集 36
【任务描述】 36
【相关知识】 37
一、工业现场网络 37
二、工业数据采集常见的网络协议 39
三、工业数据的采集方式 42
四、数据的存储 45
【任务实施】 45
一、准备安装IoTHub 45
二、安装Sentinel Runtime 45
三、安装IoTHub 46
任务2-2 采集PLC数据 48
【任务描述】 48
【相关知识】 48
一、PLC的组成 48
二、PLC的特点 49
三、PLC连接的信号类型 49
四、PLC的通信 50
【任务实施】 50
一、安装Agent 51
二、创建并连接控制器 53
三、定义变量 56
目 录
— VIII —
工业大数据采集、处理与应用
四、数据存储 58
任务2-3 采集PTL数据 65
【任务描述】 65
【相关知识】 66
一、PTL系统的构成 66
二、PTL系统的特点 68
三、PTL系统的功能 68
四、PTL系统的结构 68
【任务实施】 69
一、安装Agent 70
二、创建并连接控制器 71
三、查看变量 74
四、任务下发 75
五、数据存储 77
拓展知识 ERP与MES的集成 78
项目3 工业大数据预处理 81
【知识目标】 81
【技能目标】 81
【项目背景】 81
任务3-1 清洗、转换、加载工业大数据 81
【任务描述】 81
【相关知识】 83
一、ETL的概念 83
二、数据抽取 83
三、数据清洗 84
四、数据转换 85
五、数据加载 85
六、ETL工具Kettle 86
【任务实施】 89
一、下载、安装并启动Kettle 90
二、分析数据问题 91
三、处理流程设计 93
四、读入数据 94
五、过滤数据 97
六、补缺失值 98
七、替换数据列 99
八、值映射 100
九、输出到文件 101
十、执行转换 102
十一、保存转换文件 102
任务3-2 建立数据仓库 102
【任务描述】 102
【相关知识】 103
一、数据库 103
二、数据仓库 104
三、Hive 105
【任务实施】 108
一、下载并安装Hive 108
二、安装并配置MySQL 110
三、启动Hive 110
四、创建数据库 110
五、创建数据表 111
六、加载数据 112
任务3-3 查询工业大数据 112
【任务描述】 112
【相关知识】 112
Hive的查询语言 112
【任务实施】 114
一、准备工作 114
二、启动Hive 114
三、打开数据库 114
四、查询 114
五、分组统计 115
六、排序1 115
七、排序2 115
八、条件查询 115
九、输出文件 116
拓展知识 116
一、数据仓库的建模 116
二、数据仓库的分层 118
项目4 工业大数据建模 120
【知识目标】 120
【技能目标】 120
【项目背景】 120
任务4-1 使用UML建模工具 120
【任务描述】 120
【相关知识】 121
一、UML 121
— IX —
目 录
二、转换至关系模式 124
三、UML工具 125
【任务实施】 126
一、安装StarUML 126
二、新建工程 126
三、操作界面 127
四、基本操作 128
五、画类 132
六、画关系 132
任务4-2 建立设备信息模型 133
【任务描述】 133
【相关知识】 134
一、信息模型 134
二、设备信息 135
【任务实施】 137
一、新建工程 137
二、添加类图 137
三、画类 137
四、添加属性 137
任务4-3 建立生产过程信息模型 138
【任务描述】 138
【相关知识】 138
一、生产过程 138
二、生产过程信息示例 140
【任务实施】 141
一、新建工程 141
二、添加类图 141
三、画类 141
四、添加属性 141
五、添加关系 141
拓展知识 数字孪生 142
项目5 工业大数据分析 143
【知识目标】 143
【技能目标】 143
【项目背景】 143
任务5-1 使用大数据分析工具 143
【任务描述】 143
【相关知识】 144
一、大数据分析过程 144
二、大数据分析的关键 145
三、基于大数据的机器学习 146
【任务实施】 147
一、下载并安装Weka 147
二、Weka的操作界面 149
三、Weka的数据及类型 150
四、Weka的文件格式 151
任务5-2 使用回归算法预测 152
【任务描述】 152
【相关知识】 152
一、分类预测 152
二、回归分析 153
【任务实施】 155
一、导入CPU样本数据 155
二、初步分析数据变化趋势 156
三、选择回归算法 157
四、设置训练集和验证集 158
五、执行训练 159
六、分析误差 159
七、保存模型 160
任务5-3 使用分类算法预测 160
【任务描述】 160
【相关知识】 161
一、分类算法概述 161
二、模型的评估 162
三、ROC和AUC 162
【任务实施】 162
一、导入玻璃数据 162
二、使用分类算法 163
三、设置训练集和验证集 164
四、执行训练 164
五、误差分析 165
拓展知识 166
一、集成学习 166
二、聚类分析 168
三、关联规则 169
四、时间序列 169
项目6 工业大数据可视化 170
【知识目标】 170
— X —
工业大数据采集、处理与应用
【技能目标】 170
【项目背景】 170
任务6-1 变频电动机转速数据可视化 170
【任务描述】 170
【相关知识】 171
一、交流电动机 171
二、变频器 171
三、数据图表之仪表盘 172
【任务实施】 173
一、 新建Dashboard（数据看板）
可视化界面 173
二、 添加控件Gauge（轨距表）
并配置相关属性 175
任务6-2 立体库物料数据可视化 176
【任务描述】 176
【相关知识】 177
一、立体库 177
二、WMS 177
【任务实施】 178
一、 新建Dashboard（数据看板）
可视化界面 179
二、 添加控件Pie Chart（圆饼图）
并配置相关属性 179
三、 添加控件Text Value（文本值）
并配置相关属性 180
任务6-3 订单生产趋势数据可视化 181
【任务描述】 181
【相关知识】 181
一、生产计划或生产订单 181
二、制造执行系统（MES） 182
三、MES应用实例 182
【任务实施】 183
一、 新建Dashboard（数据看板）
可视化界面 183
二、 添加控件Line Chart（折线图）
并配置相关属性 184
任务6-4 数字化车间装配工位
订单可视化 185
【任务描述】 185
【相关知识】 185
一、产品装配过程的订单显示 185
二、工业大数据可视化工具 186
【任务实施】 187
一、选择导入数据源 189
二、 新建Dashboard（数据看板）
可视化界面，并配置相关
属性 191
三、 添加Panel（面板），选择导入
数据值，配置Panel相关属性 193
四、分享数据看板 197
拓展知识 198
一、常见数据图表的分类 198
二、 工业数据可视化中的三维
可视化 200
项目7 工业大数据应用 204
【知识目标】 204
【技能目标】 204
【项目背景】 204
任务7-1 认识数据驱动的设备状态
评估应用 205
【任务描述】 205
【相关知识】 205
一、数据驱动的制造 205
二、设备的预测维护 206
三、设备健康状态评估 207
【任务实施】 209
一、 了解半导体芯片制造行业
对大数据应用的需求 209
二、 了解设备健康监测与预测
维护平台 209
三、平台应用示例 210
任务7-2 认识数据驱动的设备故障
检测应用 212
【任务描述】 212
【任务实施】 212
一、 了解风力发电行业对
大数据应用的需求 212
二、了解设备故障检测平台 212
三、平台应用示例 213
— XI —
目 录
任务7-3 认识数据驱动的质量检测和工艺优
化应用 214
【任务描述】 214
【任务实施】 214
一、 了解汽车整车生产对大
数据应用的需求 214
二、了解质量检测和工艺优化平台 215
三、平台应用示例 216
参考文献 217
