目 录__eol__第1章 Python爬虫概念与Web基础 1__eol__1.1 爬虫概念 1__eol__1.1.1 什么是爬虫 1__eol__1.1.2 爬虫使用场景的引入 2__eol__1.1.3 爬虫的组成部分 3__eol__1.1.4 模拟请求 3__eol__1.1.5 数据解析 4__eol__1.1.6 数据保存 5__eol__1.1.7 爬虫的学习路线 5__eol__1.2 HTTP简述 6__eol__1.2.1 简述一次网络请求过程 6__eol__1.2.2 URI和URL 7__eol__1.2.3 HTTP请求报文 8__eol__1.2.4 HTTP响应报文 10__eol__1.3 网页的组成 13__eol__1.3.1 HTML简介 13__eol__1.3.2 CSS选择器简介 16__eol__1.3.3 JavaScript简介 17__eol__第2章 Python爬虫基本库的使用 18__eol__2.1 Chrome抓包详解 18__eol__2.1.1 Controls 20__eol__2.1.2 Filter 21__eol__2.1.3 Request Table 21__eol__2.2 urllib库详解 23__eol__2.2.1 发送请求 23__eol__2.2.2 抓取二进制文件 24__eol__2.2.3 模拟GET和POST请求 25__eol__2.2.4 修改请求头 26__eol__2.2.5 设置连接超时 27__eol__2.2.6 延迟提交数据 27__eol__2.2.7 设置代理 27__eol__2.2.8 Cookie 28__eol__2.2.9 urllib.parse模块 29__eol__2.2.10 urllib.error异常处理模块 31__eol__2.2.11 urllib.robotparser模块 32__eol__2.3 用lxml库解析网页节点 34__eol__2.3.1 安装库 34__eol__2.3.2 XPath语法速成 34__eol__2.4 实战：爬取小说《三国演义》 36__eol__第3章 Python爬虫抓包与数据解析 41__eol__3.1 抓包进阶 41__eol__3.1.1 HTTPS介绍 42__eol__3.1.2 HTTPS的工作流程 43__eol__3.1.3 Charles抓包 43__eol__3.1.4 Packet Capture抓包 49__eol__3.2 Requests HTTP请求库 52__eol__3.2.1 Requests库简介 53__eol__3.2.2 Requests HTTP基本请求 53__eol__3.2.3 Requests 请求常用设置 54__eol__3.2.4 Requests 处理返回结果 54__eol__3.2.5 Requests 处理Cookie 55__eol__3.2.6 Requests重定向与请求历史 55__eol__3.2.7 Requests 错误与异常处理 55__eol__3.2.8 Requests Session会话对象 55__eol__3.2.9 Requests SSL证书验证 56__eol__3.3 实战：爬取微信文章中的图片、音频和视频 56__eol__3.3.1 爬取标题 56__eol__3.3.2 爬取图片 57__eol__3.3.3 爬取音频 58__eol__3.3.4 爬取视频 60__eol__3.3.5 代码整理 64__eol__3.4 Beautiful Soup解析库 67__eol__3.4.1 Beautiful Soup简介 67__eol__3.4.2 Beautiful Soup对象实例化 67__eol__3.4.3 Beautiful Soup的四大对象 68__eol__3.4.4 Beautiful Soup的各种节点 69__eol__3.4.5 Beautiful Soup文档树搜索 69__eol__3.4.6 Beautiful Soup 使用CSS选择器 70__eol__3.5 实战：爬取壁纸站点的壁纸 70__eol__3.6 正则表达式 74__eol__3.6.1 re模块 74__eol__3.6.2 正则规则详解 75__eol__3.6.3 正则练习 77__eol__3.7 实战：爬取市级编码列表 79__eol__3.7.1 获取所有市级的跳转链接列表 80__eol__3.7.2 解析表格获得所有市级天气链接 81__eol__3.7.3 提取市级编码 82__eol__3.7.4 整合调整代码 83__eol__第4章 用CSV和Excel存储数据 85__eol__4.1 用CSV文件存储数据 85__eol__4.1.1 CSV写入 86__eol__4.1.2 CSV读取 87__eol__4.2 实战：爬取星座运势 88__eol__4.3 用Excel文件存储数据 89__eol__4.3.1 Excel写入 89__eol__4.3.2 Excel读取 90__eol__4.4 实战：爬取某音乐平台排行榜 91__eol__第5章 用数据库存储数据 99__eol__5.1 MySQL数据库 99__eol__5.1.1 安装MySQL 100__eol__5.1.2 在Windows环境下安装MySQL 100__eol__5.1.3 在Windows环境下配置MYSQL_HOME环境变量 101__eol__5.1.4 在Windows环境下设置MySQL登录密码 101__eol__5.1.5 在Windows环境下启动或关闭MySQL服务 102__eol__5.1.6 Mac环境 103__eol__5.1.7 Ubuntu环境 103__eol__5.1.8 MySQL的基本操作 104__eol__5.1.9 MySQL数据库语法速成 106__eol__5.1.10 Python连接MySQL数据库 110__eol__5.1.11 MySQL特殊符号和表情问题 114__eol__5.1.12 实战：抓取某技术网站数据 115__eol__5.2 数据库可视化工具DataGrip 122__eol__5.2.1 建立数据库关联 122__eol__5.2.2 编写SQL语句 123__eol__5.2.3 常见问题：连接远程主机 124__eol__5.3 Redis数据库 125__eol__5.3.1 安装Redis 126__eol__5.3.2 redis-py库的安装 130__eol__5.3.3 redis-py基本操作示例 130__eol__5.3.4 实战：爬取视频弹幕并保存到Redis 134__eol__5.4 MongoDB数据库 137__eol__5.4.1 安装MongoDB 137__eol__5.4.2 安装PyMongo库 140__eol__5.4.3 PyMongo基本操作示例 140__eol__5.4.4 实战：爬取某电商网站关键字搜索结果并保存到MongoDB 144__eol__第6章 Python应对反爬虫策略 148__eol__6.1 反爬虫概述 148__eol__6.1.1 为什么会出现反爬虫 149__eol__6.1.2 常见的爬虫与反爬虫大战 149__eol__6.2 反爬虫策略 150__eol__6.2.1 User-Agent限制 150__eol__6.2.2 302重定向 151__eol__6.2.3 IP限制 151__eol__6.2.4 什么是网络代理 151__eol__6.2.5 如何获取代理IP 151__eol__6.2.6 ADSL拨号代理 152__eol__6.2.7 Squid 配置代理缓存服务器 156__eol__6.2.8 TinyProxy配置代理缓存服务器 158__eol__6.2.9 Cookie限制 159__eol__6.3 JavaScript反爬虫策略 159__eol__6.3.1 Ajax动态加载数据 159__eol__6.3.2 实战：爬取某素材网内容分析 159__eol__6.3.3 数据请求分析 160__eol__6.3.4 编写代码 163__eol__6.4 Selenium模拟浏览器操作 166__eol__6.4.1 Selenium简介 166__eol__6.4.2 安装Selenium 167__eol__6.4.3 Selenium常用函数 168__eol__6.5 实战：爬取某网站的特定图 172__eol__6.6 PhantomJS 175__eol__6.6.1 在Windows上安装PhantomJS 175__eol__6.6.2 在Mac上安装PhantomJS 175__eol__6.6.3 在Ubuntu上安装PhantomJS 176__eol__6.6.4 关于PhantomJS的重要说明 176__eol__