第1章 专业认知能力培养：走进Spark 1__eol__新手上路1.1：认知Spark 2__eol__1.1.1 Spark的发展历程 2__eol__1.1.2 Spark的特点 3__eol__1.1.3 Spark技术栈 4__eol__1.1.4 Spark术语 5__eol__1.1.5 Spark的应用场景 6__eol__循序渐进1.2：了解Spark的运行架构与运行模式 7__eol__1.2.1 Spark的运行架构 7__eol__1.2.2 Spark的运行模式及运行流程 8__eol__1.2.3 Spark核心概念RDD 12__eol__渐入佳境1.3：掌握Spark在不同模式下的环境搭建 13__eol__1.3.1 Spark本地单机模式环境搭建 13__eol__1.3.2 Spark单机伪分布模式环境搭建 14__eol__实战演练1.4 企业级项目环境搭建 18__eol__Spark完全分布模式环境搭建 18__eol__归纳总结 20__eol__勤学苦练 20__eol__第2章 专业规范能力培养：立足Scala 23__eol__新手上路2.1：认知Scala 24__eol__2.1.1 Scala简介 24__eol__2.1.2 Scala特性 24__eol__2.1.3 Scala环境配置及安装 24__eol__2.1.4 Scala环境的运行 26__eol__新手上路2.2：变量和数据类型 26__eol__2.2.1 注释 26__eol__2.2.2 常量和变量 27__eol__2.2.3 标识符和关键字 27__eol__2.2.4 数据类型 29__eol__2.2.5 数据类型转换 32__eol__2.2.6 Scala输出 34__eol__新手上路2.3：运算符和流程控制 35__eol__2.3.1 算术运算符 35__eol__2.3.2 关系运算符 36__eol__2.3.3 逻辑运算符 37__eol__2.3.4 赋值运算符 37__eol__2.3.5 位运算符 38__eol__2.3.6 运算符优先级 38__eol__2.3.7 流程控制 38__eol__循序渐进2.4：函数式编程 43__eol__2.4.1 函数的定义 43__eol__2.4.2 函数基本语法 43__eol__2.4.3 函数和方法的区别 45__eol__2.4.4 函数至简原则 46__eol__2.4.5 匿名函数 47__eol__2.4.6 高阶函数 47__eol__2.4.7 函数柯里化 48__eol__循序渐进2.5：面向对象编程 49__eol__2.5.1 包 49__eol__2.5.2 类和对象 50__eol__2.5.3 封装 51__eol__2.5.4 继承 52__eol__2.5.5 抽象类 53__eol__2.5.6 伴生对象 53__eol__2.5.7 特质 54__eol__循序渐进2.6：数据集合与文件操作 55__eol__2.6.1 集合简介 55__eol__2.6.2 数组 56__eol__2.6.3 列表 57__eol__2.6.4 Set集合 58__eol__2.6.5 Map集合 59__eol__2.6.6 元组 60__eol__2.6.7 文件操作 61__eol__实战演练2.7：智慧交通车牌分类识别 62__eol__2.7.1 函数识别车牌所在地 62__eol__2.7.2 统计太原市车牌数量 63__eol__2.7.3 根据车牌所在地对车牌数据分组 63__eol__2.7.4 车牌所在地信息查询程序 63__eol__归纳总结 64__eol__勤学苦练 65__eol__第3章 岗位核心能力培养：聚焦Spark Core 68__eol__新手上路3.1：认知Spark核心数据集RDD 69__eol__3.1.1 RDD简介 70__eol__3.1.2 RDD的特点 70__eol__新手上路3.2：掌握RDD的创建 71__eol__3.2.1 借助内存中的集合数据创建RDD 72__eol__3.2.2 从外部存储创建RDD 73__eol__循序渐进3.3：掌握RDD的算子操作 74__eol__3.3.1 算子的概念与作用 74__eol__3.3.2 转换算子的操作与使用 75__eol__3.3.3 键-值对类型RDD算子的操作与使用 78__eol__3.3.4 行动算子的操作与使用 80__eol__循序渐进3.4：掌握RDD的文件操作 83__eol__3.4.1 JSON格式文件的读取与存储 83__eol__3.4.2 SequenceFile格式文件的存储与读取 85__eol__渐入佳境3.5：了解IntelliJ IDEA如何开发Spark程序 86__eol__3.5.1 下载与安装IntelliJ IDEA 86__eol__3.5.2 Scala插件的安装与使用 88__eol__3.5.3 IntelliJ IDEA运行Spark程序 93__eol__实战演练3.6：智慧交通道路卡口车流量分析 100__eol__3.6.1 数据获取与数据解释 100__eol__3.6.2 项目编程环境搭建 101__eol__3.6.3 交通道路卡口车流量排名分析 107__eol__3.6.4 交通道路卡口车辆超速违章分析 110__eol__归纳总结 114__eol__勤学苦练 115__eol__第4章 岗位拓展能力培养：夯实Spark SQL 117__eol__新手上路4.1：初识Spark SQL 118__eol__4.1.1 Spark SQL简介 118__eol__4.1.2 Spark SQL特点 119__eol__4.1.3 Spark SQL的Spark Shell交互 120__eol__循序渐进4.2：掌握Spark SQL核心编程模型DataFrame 121__eol__4.2.1 DataFrame简介 121__eol__4.2.2 DataFrame的创建 122__eol__4.2.3 DataFrame的相关操作 127__eol__渐入佳境4.3：熟悉Spark SQL扩展编程模型Dataset 141__eol__4.3.1 Dataset简介 141__eol__4.3.2 Dataset的创建 142__eol__实战演练4.4：在线教育数据分析 143__eol__4.4.1 数据获取与数据解释 143__eol__4.4.2 用户学习行为习惯分析 145__eol__4.4.3 视频课程点击量排行分析 146__eol__4.4.4 视频课程分类排行推荐 146__eol__归纳总结 147__eol__勤学苦练 148__eol__第5章 岗位综合能力培养：锤炼Spark Streaming 150__eol__新手上路5.1：初识Spark Streaming 151__eol__5.1.1 Spark Streaming概述 151__eol__5.1.2 Spark Streaming特点 152__eol__5.1.3 Spark Streaming工作原理 152__eol__循序渐进5.2：掌握DStream编程模型 153__eol__5.2.1 DStream简介 153__eol__5.2.2 DStream创建 154__eol__渐入佳境5.3：熟悉DStream的相关操作 157__eol__5.3.1 DStream的转换操作 157__eol__5.3.2 DStream的窗口操作 158__eol__5.3.3 DStream的输出函数 161__eol__实战演练5.4：电商网站广告点击分析 162__eol__5.4.1 项目环境搭建 162__eol__5.4.2 项目数据解释 167__eol__5.4.3 电商网站广告点击黑名单 168__eol__5.4.4 电商网站热门广告排行 170__eol__归纳总结 172__eol__勤学苦练 173__eol__第6章 职业发展能力培养：进阶Spark GraphX图计算 175__eol__新手上路6.1：初识Spark GraphX 176__eol__6.1.1 图计算的概念与应用 176__eol__6.1.2 Spark GraphX的概念 178__eol__6.1.3 Spark GraphX的特性 178__eol__循序渐进6.2：掌握GraphX编程模型 178__eol__6.2.1 属性图的构建 179__eol__6.2.2 图的查询操作 182__eol__6.2.3 图的数据与结构转换操作 183__eol__6.2.4 图的关联与聚合操作 187__eol__实战演练6.3：构建用户购物行为网络并分析用户行为 189__eol__6.3.1 用户购物行为网络的构建 190__eol__6.3.2 商品的用户购物行为次数排名 191__eol__6.3.3 用户不同购物行为次数统计 191__eol__归纳总结 192__eol__勤学苦练 192__e