- 机械工业出版社
- 9787111738909
- 1-1
- 503521
- 61249016-9
- 平装
- 16开
- 2023-12
- 244
- 大数据技术应用
- 高职
内容简介
考虑到目前大数据产业的发展趋势，本书综合了现有的数据采集和预处理技术，按照实际工作中的顺序，先介绍了大数据及数据采集的基础知识，然后介绍了使用爬虫技术进行数据采集、使用传感器进行数据采集、使用Kettle进行数据迁移和采集以及使用Python进行数据存储和处理，并以实训项目的形式，将技术与理论有机融为一体。本书内容详实、通俗易懂，贴近实用，同时配以课后习题加强学习效果。
本书适合作为职业院校大数据技术、软件技术、物联网应用技术等相关专业的教材，也可作为大数据技术培训以及自学大数据技术的相关人员的参考用书。
本书配有电子课件等资源，选用本书作为授课教材的教师可登录机械工业出版社教育服务网（www.cmpedu.com）免费注册后下载课程资源或者联系编辑
（010-88379807）咨询。
本书适合作为职业院校大数据技术、软件技术、物联网应用技术等相关专业的教材，也可作为大数据技术培训以及自学大数据技术的相关人员的参考用书。
本书配有电子课件等资源，选用本书作为授课教材的教师可登录机械工业出版社教育服务网（www.cmpedu.com）免费注册后下载课程资源或者联系编辑
（010-88379807）咨询。
目录
基础知识 1
一、大数据概念 3
二、数据采集技术 6
三、数据预处理技术10
习题12
项目1 使用爬虫技术进行数据采集13
任务1 爬取静态页面数据15
任务2 使用Scrapy框架爬取动态数据 24
任务3 使用Nutch爬取数据32
小结50
习题50
项目2 使用传感器进行数据采集53
任务1 利用传感器采集农业数据55
任务2 利用传感器智能生产68
小结75
习题75
项目3 使用Kettle进行数据迁移和采集77
任务1 使用Kettle工具进行数据迁移79
任务2 利用Kettle建立作业，定时执行转换95
小结98
习题98
项目4 使用Python进行数据存储101
任务1 利用列表、元组、集合与字典进行数据存储 103
任务2 利用Numpy数组对象进行数据存储109
任务3 利用Series与DataFrame进行数据存储118
任务4 读写不同数据源数据126
任务5 合并数据134小结144
习题145
项目5 使用Python进行数据处理147
任务1 数据清洗149
任务2 数据标准化160
任务3 分组与聚合163
任务4 透视表与交叉表172
任务5 哑变量178
小结180
习题180
参考文献182
一、大数据概念 3
二、数据采集技术 6
三、数据预处理技术10
习题12
项目1 使用爬虫技术进行数据采集13
任务1 爬取静态页面数据15
任务2 使用Scrapy框架爬取动态数据 24
任务3 使用Nutch爬取数据32
小结50
习题50
项目2 使用传感器进行数据采集53
任务1 利用传感器采集农业数据55
任务2 利用传感器智能生产68
小结75
习题75
项目3 使用Kettle进行数据迁移和采集77
任务1 使用Kettle工具进行数据迁移79
任务2 利用Kettle建立作业，定时执行转换95
小结98
习题98
项目4 使用Python进行数据存储101
任务1 利用列表、元组、集合与字典进行数据存储 103
任务2 利用Numpy数组对象进行数据存储109
任务3 利用Series与DataFrame进行数据存储118
任务4 读写不同数据源数据126
任务5 合并数据134小结144
习题145
项目5 使用Python进行数据处理147
任务1 数据清洗149
任务2 数据标准化160
任务3 分组与聚合163
任务4 透视表与交叉表172
任务5 哑变量178
小结180
习题180
参考文献182
