大数据分析与应用(中级)(配套智慧职教慕课课程、微课、PPT课件) / “1+X”职业技能等级证书配套系列教材,新形态一体化教材
作者: 阿里云计算有限公司
出版时间:2021-08
出版社:高等教育出版社
- 高等教育出版社
- 9787040553284
- 1版
- 375455
- 64250049-0
- 平装
- 16开
- 2021-08
- 440
- 348
- 工学
- 计算机科学与技术
- 计算机等
- 高职
本书为1+X大数据分析与应用职业技能等级证书配套教材,依据1+X职业技能等级标准编写。本书通过对中级证书标准中涉及的大数据分析与应用的进阶知识及技能等进行深入分析和归纳,并充分考虑学习过程中的可操作性与学习效果,通过理论+实操结合的形式,使读者能够学以致用、举一反三。
本书主要介绍大数据分析与应用的进阶知识及技能,分为3篇共10章:第1篇数据分析基础,主要讲解大数据分析的基本概念与流程,以及大数据分析平台等;第2篇数据挖掘,主要讲解数据挖掘的概念和流程、数据预处理与特征工程、关联规则分析、分类分析、回归分析、聚类分析等;第3篇数据挖掘综合应用,通过构建商品推荐系统和O2O优惠券使用预测两个项目案例,使读者能够学以致用,加强对本书知识点及相关技能的掌握。
通过本书的学习,读者可掌握数据挖掘分析基础理论知识和基本技能,可完成基本的数据挖掘工作。本书配套视频、授课用PPT、程序源代码等数字化学习资源,学习者可登录“智慧职教”(www.icve.com.cn)平台进行学习。
本书为1+X大数据分析与应用职业技能等级证书配套教材,也是高等职业院校大数据技术专业教学用书。也可作为从事大数据分析与应用相关工作人员的自学参考书。
前辅文
第1篇 数据分析基础
第1章 大数据分析概述
1.1 大数据
1.1.1 大数据的概念
1.1.2 大数据的特征
1.1.3 大数据的产生
1.1.4 大数据的数据结构
1.1.5 大数据的应用与挑战
1.1.6 大数据的意义
1.1.7 大数据的发展趋势
1.2 大数据分析
1.2.1 大数据分析的定义
1.2.2 大数据分析的产生与发展
1.2.3 大数据分析的应用场景
1.3 数据统计分析理论基础
1.3.1 概率和分布
1.3.2 参数估计
1.3.3 假设检验
1.3.4 回归分析
1.3.5 主成分分析与因子分析
1.4 大数据分析的流程与常用技术
1.4.1 数据采集技术
1.4.2 数据预处理技术
1.4.3 数据存储与管理技术
1.4.4 数据分析处理技术
1.4.5 数据挖掘技术
1.4.6 数据可视化技术
1.5 本章小结
1.6 本章习题
第2章 大数据分析平台
2.1 常用大数据分析平台
2.2 阿里云大数据平台
2.3 阿里云大数据计算服务MaxCompute
2.3.1 MaxCompute概述
2.3.2 MaxCompute基本操作
2.4 一站式大数据平台DataWorks
2.4.1 DataWorks概述
2.4.2 DataWorks基本操作
2.5 BI平台Quick BI
2.5.1 Quick BI概述
2.5.2 Quick BI基本操作
2.6 数据大屏DataV
2.6.1 DataV概述
2.6.2 DataV基本操作
2.7 机器学习平台PAI
2.7.1 机器学习平台PAI概述
2.7.2 机器学习平台PAI基本操作
2.8 实战案例——基于阿里云大数据平台构建数据仓库
2.8.1 案例说明
2.8.2 数据接口层开发
2.8.3 数据仓库层开发
2.8.4 数据应用层开发
2.9 本章小结
2.10 本章习题
第2篇 数 据 挖 掘
第3章 数据挖掘概念及流程
3.1 数据挖掘概述
3.1.1 数据挖掘的概念
3.1.2 数据挖掘能解决的主要问题
3.2 数据挖掘常用算法和工具
3.2.1 数据挖掘常用算法
3.2.2 数据挖掘常用工具概述
3.3 数据挖掘的流程
3.3.1 数据获取
3.3.2 数据预处理
3.3.3 特征工程
3.3.4 分析建模
3.3.5 模型评估与应用
3.4 数据挖掘的应用与发展
3.4.1 数据挖掘的演变
3.4.2 数据挖掘的应用
3.4.3 数据挖掘的发展趋势
3.5 本章小结
3.6 本章习题
第4章 数据预处理与特征工程
4.1 数据预处理与特征工程概述
4.2 数据抽样
4.2.1 数据抽样原理
4.2.2 实战案例——数据抽样
4.3 数据标准化及归一化
4.3.1 数据标准化及归一化原理
4.3.2 实战案例——数据标准化及归一化实例
4.4 数据质量与清洗
4.4.1 数据质量问题
4.4.2 数据质量评价与清洗原理
4.4.3 实战案例——数据质量与清洗实例
4.5 特征工程
4.5.1 特征工程概述
4.5.2 进行特征工程的缘由
4.5.3 特征工程的方法与原理
4.6 本章小结
4.7 本章习题
第5章 关联规则
5.1 关联规则综述
5.1.1 关联规则的基本概念
5.1.2 关联规则提出的背景
5.1.3 关联规则的原理
5.1.4 关联规则的应用场景
5.1.5 关联规则的分类
5.2 关联规则挖掘常用算法
5.2.1 Apriori算法
5.2.2 Partition算法
5.2.3 DHP算法
5.2.4 MSApriori算法
5.2.5 FP-Growth算法
5.3 实战案例——超市货物摆放位置优化
5.4 本章小结
5.5 本章习题
第6章 分类分析
6.1 分类分析综述
6.2 支持向量机
6.2.1 支持向量机概念
6.2.2 支持向量机原理
6.2.3 实战案例——食物变质与菌落含量关系分析
6.3 逻辑回归
6.3.1 逻辑回归概念
6.3.2 逻辑回归原理
6.3.3 实战案例——市民属性与早餐饮品的关系分析
6.4 决策树
6.4.1 决策树概念
6.4.2 决策树原理
6.4.3 实战案例——市民属性与是否购车的关系分析(基于决策树)
6.5 K近邻
6.5.1 K近邻概念
6.5.2 K近邻原理
6.5.3 实战案例——幼儿属性与是否有龋齿的关系分析
6.6 随机森林
6.6.1 随机森林概念
6.6.2 随机森林原理
6.6.3 实战案例——市民属性与是否购车的关系分析(基于随机森林)
6.7 朴素贝叶斯
6.7.1 贝叶斯概念
6.7.2 贝叶斯原理
6.7.3 实战案例——市民属性与是否购车的关系分析(基于朴素贝叶斯)
6.8 本章小结
6.9 本章习题
第7章 回归分析
7.1 回归分析概述
7.1.1 回归分析提出的背景
7.1.2 回归分析的定义
7.1.3 使用最小二乘法求解回归方程
7.1.4 回归分析的应用场景
7.2 一元回归
7.2.1 一元线性回归
7.2.2 一元非线性回归
7.2.3 一元多项式回归
7.2.4 实战案例——一元线性回归实例
7.3 多元回归
7.3.1 多元线性回归
7.3.2 多元多项式回归
7.4 实战案例——多元回归实例
7.5 本章小结
7.6 本章习题
第8章 聚类分析
8.1 聚类分析概述
8.1.1 聚类分析的定义
8.1.2 聚类分析提出的背景
8.1.3 聚类分析的原理
8.1.4 聚类分析的应用场景
8.1.5 聚类算法的分类
8.2 基于划分的聚类
8.2.1 K-means算法
8.2.2 K-medoids算法
8.2.3 K-prototype算法
8.3 基于层次的聚类
8.3.1 BIRCH算法
8.3.2 CURE算法
8.4 基于密度的聚类
8.4.1 DBSCAN算法
8.4.2 OPTICS算法
8.4.3 DENCLUE算法
8.5 基于网格的聚类
8.5.1 STING算法
8.5.2 CLIQUE算法
8.6 实战案例——K-means聚类分析实例
8.7 本章小结
8.8 本章习题
第3篇 数据挖掘综合应用
第9章 综合实战——构建商品推荐系统
9.1 案例背景
9.2 算法简介
9.3 思路及流程
9.4 案例实施
9.4.1 数据准备
9.4.2 使用协同过滤算法生成商品推荐列表
9.4.3 提取7月份之后真实购物行为数据
9.4.4 统计商品推荐命中率
9.4.5 结果分析
9.5 本章小结
第10章 综合实战——O2O优惠券使用预测分析
10.1 案例背景
10.2 思路及流程
10.3 案例实施
10.3.1 安装配置客户端
10.3.2 数据准备
10.3.3 划分数据集
10.3.4 特征工程
10.3.5 使用PAI平台训练模型
10.3.6 评估模型
10.4 本章小结
参考文献