目 录 实验一 大数据实验一体机基础操作 11.1 实验目的 11.2 实验要求 11.3 实验原理 11.4 实验步骤 9实验二 HDFS实验：部署HDFS 172.1 实验目的 172.2 实验要求 172.3 实验原理 172.4 实验步骤 19实验三 HDFS实验：读写HDFS文件 213.1 实验目的 213.2 实验要求 213.3 实验原理 213.4 实验步骤 23实验四 YARN实验：部署YARN集群 314.1 实验目的 314.2 实验要求 314.3 实验原理 314.4 实验步骤 334.5 实验结果 35实验五 MapReduce实验：单词计数 375.1 实验目的 375.2 实验要求 375.3 实验原理 375.4 实验步骤 395.5 实验结果 41实验六 MapReduce实验：二次排序 436.1 实验目的 436.2 实验要求 436.3 实验原理 436.4 实验步骤 436.5 实验结果 48实验七 MapReduce实验：计数器 497.1 实验目的 497.2 实验要求 497.3 实验背景 497.4 实验步骤 517.5 实验结果 53实验八 MapReduce实验：Join操作 558.1 实验目的 558.2 实验要求 558.3 实验背景 558.4 实验步骤 568.5 实验结果 61实验九 MapReduce实验：分布式缓存 639.1 实验目的 639.2 实验要求 639.3 实验步骤 639.4 实验结果 68实验十 Hive实验：部署Hive 6910.1 实验目的 6910.2 实验要求 6910.3 实验原理 6910.4 实验步骤 7010.5 实验结果 71实验十一 Hive实验：新建Hive表 7311.1 实验目的 7311.2 实验要求 7311.3 实验原理 7311.4 实验步骤 7311.5 实验结果 75实验十二 Hive实验：Hive分区 7712.1 实验目的 7712.2 实验要求 7712.3 实验原理 7712.4 实验步骤 7712.5 实验结果 79实验十三 Spark实验：部署Spark集群 8013.1 实验目的 8013.2 实验要求 8013.3 实验原理 8013.4 实验内容和步骤 8113.5 实验结果 83实验十四 Spark实验：SparkWordCount 8514.1 实验目的 8514.2 实验要求 8514.3 实验原理 8514.4 实验步骤 8914.5 实验结果 89实验十五 Spark实验：RDD综合实验 9015.1 实验目的 9015.2 实验要求 9015.3 实验原理 9015.4 实验步骤 9115.5 实验结果 93实验十六 Spark实验：Spark综例 9416.1 实验目的 9416.2 实验要求 9416.3 实验原理 9416.4 实验步骤 96实验十七 Spark实验：Spark SQL 9917.1 实验目的 9917.2 实验要求 9917.3 实验原理 9917.4 实验步骤 10017.5 实验结果 101实验十八 Spark实验：Spark Streaming 10318.1 实验目的 10318.2 实验要求 10318.3 实验原理 10318.4 实验步骤 10718.5 实验结果 110实验十九 Spark实验：GraphX 11119.1 实验目的 11119.2 实验要求 11119.3 实验原理 11119.4 实验步骤 11119.5 实验结果 116实验二十 部署ZooKeeper 11720.1 实验目的 11720.2 实验要求 11720.3 实验原理 11720.4 实验步骤 11720.5 实验结果 119实验二十一 ZooKeeper进程协作 12121.1 实验目的 12121.2 实验要求 12121.3 实验原理 12121.4 实验步骤 12121.5 实验结果 123实验二十二 部署HBase 12422.1 实验目的 12422.2 实验要求 12422.3 实验原理 12422.4 实验步骤 12522.5 实验结果 127实验二十三 新建HBase表 12823.1 实验目的 12823.2 实验要求 12823.3 实验原理 12823.4 实验步骤 12823.5 实验结果 133实验二十四 部署Storm 13524.1 实验目的 13524.2 实验要求 13524.3 实验原理 13524.4 实验步骤 13624.5 实验结果 138实验二十五 实时WordCountTopology 13925.1 实验目的 13925.2 实验要求 13925.3 实验原理 13925.4 实验步骤 14125.5 实验结果 144实验二十六 文件数据Flume至HDFS 14526.1 实验目的 14526.2 实验要求 14526.3 实验原理 14526.4 实验步骤 14726.5 实验结果 149实验二十七 Kafka订阅推送示例 15027.1 实验目的 15027.2 实验要求 15027.3 实验原理 15027.4 实验步骤 15227.5 实验结果 154实验二十八 Pig版WordCount 15528.1 实验目的 15528.2 实验要求 15528.3 实验原理 15528.4 实验步骤 15628.5 实验结果 158实验二十九 Redis部署与简单使用 16029.1 实验目的 16029.2 实验要求 16029.3 实验原理 16029.4 实验步骤 16229.5 实验结果 163实验三十 MapReduce与Spark读写Redis 16430.1 实验目的 16430.2 实验要求 16430.3 实验原理 16430.4 实验步骤 16530.5 实验结果 170实验三十一 MongoDB实验：读写MongoDB 17231.1 实验目的 17231.2 实验要求 17231.3 实验原理 17231.4 实验步骤 17331.5 实验结果 177实验三十二 LevelDB实验：读写LevelDB 17832.1 实验目的 17832.2 实验要求 17832.3 实验原理 17832.4 实验步骤 18132.5 实验结果 183实验三十三 Mahout实验：K-Means 18433.1 实验目的 18433.2 实验要求 18433.3 实验原理 18433.4 实验步骤 18733.5 实验结果 188实验三十四 使用Spark实现K-Means 18934.1 实验目的 18934.2 实验要求 18934.3 实验原理 18934.4 实验步骤 18934.5 实验结果 191实验三十五 使用Spark实现SVM 19235.1 实验目的 19235.2 实验要求 19235.3 实验原理 19235.4 实验步骤 19435.5 实验结果 195实验三十六 使用Spark实现FP-Growth 19736.1 实验目的 19736.2 实验要求 19736.3 实验原理 19736.4 实验步骤 19936.5 实验结果 200实验三十七 综合实战：车牌识别 20237.1 实验目的 20237.2 实验要求 20237.3 实验步骤 20237.4 实验结果 209实验三十八 综合实战：搜索引擎 21138.1 实验目的 21138.2 实验要求 21138.3 实验步骤 21138.4 实验结果 236实验三十九 综合实战：推荐系统 23939.1 实验目的 23939.2 实验要求 23939.3 实验步骤 23939.4 实验结果 245实验四十 综合实战：环境大数据 24740.1 实验目的 24740.2 实验要求 24740.3 实验原理 24740.4 实验步骤 247实验四十一 综合实战：智能硬件大数据托管 25941.1 实验目的 25941.2 实验要求 25941.3 实验原理 25941.4 实验步骤 26141.5 实验结果 266实验四十二 综合实战：贷款风险评估 26842.1 实验目的 26842.2 实验要求 26842.3 实验原理 26842.4 实验相关 26942.5 实验结果 275