单元1Hive概述1
任务1.1Hive的产生背景1
1Hive的产生背景2
2Hive的发展历史和现状4
3Hive与Hadoop4

任务1.2Hive的概念9
1Hive的系统与部署架构9
2Hive与RDBM对比12
3数据仓库的理解12
4Hive的数据模型15
5HiveQL与数据存储16
任务1.3Hadoop生态与Hive20
1Pig20
2HBase21
单元小结25

单元2环境准备26
任务2.1VMware与SecureCRTPortable26
1VMware简介26
2VMware的虚拟化27
任务2.2JDK的配置37
1JDK的简介37
2JDK的版本37
3上传JDK的介质37
4tar的解压与压缩37
任务2.3免密登录41
1免密登录用户41
2免密登录的优点42
单元小结46

单元3Hadoop搭建和配置47
任务3.1Hadoop搭建47
1上传Hadoop的介质47
2解压Hadoop压缩包48
3配置Hadoop的环境变量48
4配置Hadoop环境变量48
5修改Hadoop的配置文件49
6启动Hadoop服务51
7检查Hadoop的成功52
任务3.2Hadoop配置57
1Hadoop简介57
2MapReduce综述61
单元小结70

单元4安装Hive的基础操作71
任务4.1Hive的模式71
1本地模式72
2远程模式72
3内嵌模式73
任务4.2安装Hive实验88
1Hive简介88
2Hive的定义88
3设计特征88
4数据存储89
任务4.3Hive命令95
1创建表语句95
2加载数据96
3改变表98
4替换101
5删除表102
6分区103
任务4.4Hive命令行界面107
1CLI选项107
2变量和属性111
3在Hive内使用Hadoop的DFS命令112
任务4.5数据类型和文件格式114
1基本数据类型114
2文件格式116
3压缩编码119
4集合数据类型121
任务4.6Hive权限管理125
1开启权限126
2权限操作128
任务4.7Hive常用优化方法137
1控制Reducer数量137
2使用MapJoin138
3使用distinct+unionall代替union139
4解决数据倾斜的通用方法140
单元小结141
单元5HiveQL的数据定义143
任务5.1HiveQL的数据定义143
1HiveQL的数据定义143
2HiveQL和SQL的区别146
任务5.2Hive数据库150
1Hive的数据库150
2修改数据库属性151
任务5.3修改表157
1增加、修改和删除表分区157
2表重命名157
3增加列157
4删除或者替换列157
5修改表属性158
6修改存储属性158
7修改表语句158
单元小结162
单元6HiveQL语句163
任务6.1SELECT、FROM语句的概念163
1使用正则表达式来指定列163
2使用列值进行计算165
3算术运算符165
4使用函数168
5LIMIT语句169
6列的别名169
7CASE、WHEN、THEN句式169
8嵌套SELECT语句172
任务6.2GROUPBY178
任务6.3抽样查询180
1数据块抽样180
2分桶表的输入裁剪180
任务6.4WHERE语句181
1谓语操作符182
2浮点数比较183
任务6.5JOIN语句184
1JOIN优化185
2LEFTOUTERJOIN186
3INNERJOIN187
4FULLOUTERJOIN189
5LEFTSEMIJOIN189
6RIGHTOUTERJOIN190
7OUTERJOIN190
8笛卡儿积JOIN191
9mapsidejoin192
单元小结194
单元7Hive综合应用195
任务7.1Hive和亚马逊网络服务系统(AWS)195
1弹性MapReduce的优点196
2注意事项196
3EMR上的实例196
任务7.2Hive综合案例199
1Hive操作演示199
2交易数据演示207
单元小结227
参考文献228