基本信息

• 商品名称：Python3网络爬虫实战
• 作者：胡松涛|责编:夏毓彦
• 定价：79
• 出版社：清华大学
• ISBN号：9787302557340

其他参考信息（以实物为准）

• 出版时间：2020-08-01
• 印刷时间：2020-08-01
• 版次：1
• 印次：1
• 开本：16开
• 包装：平装
• 页数：386
• 字数：640千字

编辑推荐语

本书详解网络爬虫的技术基础、Python常用IDE的使用、Python数据的存储、Python爬虫常用模块、Scrapy爬虫、BeautifulSoup爬虫、PyQuery模块、Selenium模拟浏览器、PySpider框架图片验证识别、爬取App、爬虫与反爬虫等内容。本书内容通俗易懂，方便读者快速掌握Python 3网络爬虫技术。

内容提要

\\\"本书从Python 3.8的安装开始，详细讲解从网页基础到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的网络爬虫，并有针对性地讲解几种Python网络爬虫。
    本书共12章，涵盖的内容有网络爬虫的技术基础、Python常用IDE的使用、Python数据的存储、Python爬虫常用模块、Scrapy爬虫、BeautifulSoup爬虫、PyQuery模块、Selenium模拟浏览器、PySpider框架图片验证识别、爬取App、爬虫与反爬虫等。
    本书内容丰富，实例典型，实用性强，适合Python网络爬虫初学者、Python数据分析与挖掘技术初学者以及高等院校和培训学校相关专业的师生阅读。
     \\\"

作者简介

胡松涛， 工程师，参与多个Linux开源项目，github知名代码分享者，活跃于 的多个开源论坛。

目录

目 录


第1章 Python环境配置1
1.1 Python简介1
1.1.1 Python的历史由来1
1.1.2 Python的现状2
1.1.3 Python的应用2
1.2 Python 3.8.0开发环境配置4
1.2.1 在Windows下安装Python4
1.2.2 在Windows下安装配置pip8
1.2.3 在Linux下安装Python9
1.2.4 在Linux下安装配置pip11
1.2.5 永远的hello world15
1.3 本章小结19
第2章 爬虫基础快速入门20
2.1 HTTP基本原理20
2.1.1 URI和URL20
2.1.2 超文本21
2.1.3 HTTP和HTTPS21
2.1.4 HTTP请求过程22
2.1.5 请求24
2.1.6 响应26
2.2 网页基础27
2.2.1 网页的组成27
2.2.2 网页的结构28
2.2.3 节点树及节点间的关系30
2.2.4 选择器36
2.3 爬虫的基本原理37
2.3.1 爬虫概述37
2.3.2 能抓取什么样的数据37
2.3.3 渲染页面38
2.4 会话和Cookies39
2.4.1 静态网页和动态网页40
2.4.2 无状态HTTP41
2.4.3 常见误区42
2.5 代理的基本原理42
2.5.1 基本原理42
2.5.2 代理的作用43
2.5.3 代理分类43
2.5.4 常见代理设置44
2.6 本章小结44
第3章 数据存储与解析45
3.1 文件存储45
3.1.1 TXT文件存储45
3.1.2 JSON文件存储49
3.1.3 CSV文件存储52
3.2 关系型数据库存储57
3.2.1 连接数据库59
3.2.2 创建表59
3.2.3 插入数据60
3.2.4 浏览数据61
3.2.5 修改数据62
3.2.6 删除数据63
3.3 非关系型数据库存储64
3.3.1 安装数据库64
3.3.2 MongoDB概念解析68
3.3.3 创建数据库68
3.3.4 创建集合69
3.3.5 插入文档69
3.3.6 查询集合数据71
3.3.7 修改记录73
3.3.8 数据排序74
3.3.9 删除文档75
3.4 lxml模块解析数据76
3.4.1 安装模块76
3.4.2 XPath常用规则76
3.4.3 读取文件进行解析79
3.5 本章小结81
第4章 Python爬虫常用模块82
4.1 Python网络爬虫技术核心82
4.1.1 Python网络爬虫实现原理82
4.1.2 爬行策略83
4.1.3 身份识别83
4.2 Python 3标准库之urllib.request模块84
4.2.1 urllib.request请求返回网页84
4.2.2 urllib.request使用代理访问网页86
4.2.3 urllib.request修改header89
4.3 Python 3标准库之logging模块93
4.3.1 简述logging模块93
4.3.2 自定义模块myLog97
4.4 re模块（正则表达式）100
4.4.1 re模块（正则表达式的操作）100
4.4.2 re模块实战102
4.5 其他有用模块103
4.5.1 sys模块（系统参数获取）103
4.5.2 time模块（获取时间信息）105
4.6 本章小结108
第5章 Scrapy爬虫框架109
5.1 安装Scrapy109
5.1.1 在Windows下安装Scrapy环境109
5.1.2 在Linux下安装Scrapy110
5.1.3 vim编辑器111
5.2 Scrapy选择器XPath和CSS112
5.2.1 XPath选择器112
5.2.2 CSS选择器115
5.2.3 其他选择器116
5.3 Scrapy爬虫实战一： 影视117
5.3.1 创建Scrapy项目117
5.3.2 Scrapy文件介绍119
5.3.3 Scrapy爬虫的编写121
5.4 Scrapy爬虫实战二：天气预报128
5.4.1 项目准备129
5.4.2 创建并编辑Scrapy爬虫130
5.4.3 数据存储到JSON137
5.4.4 数据存储到MySQL139
5.5 Scrapy爬虫实战三：获取代理145
5.5.1 项目准备145
5.5.2 创建编辑Scrapy爬虫146
5.5.3 多个Spider152
5.5.4 处理Spider数据156
5.6 Scrapy爬虫实战四：糗事百科158
5.6.1 目标分析158
5.6.2 创建编辑Scrapy爬虫159
5.6.3 Scrapy项目中间件——添加headers160
5.6.4 Scrapy项目中间件——添加Proxy163
5.7 Scrapy爬虫实战五：爬虫攻防166
5.7.1 创建一般爬虫166
5.7.2 封锁间隔时间破解169
5.7.3 封锁Cookies破解170
5.7.4 封锁User-Agent破解170
5.7.5 封锁IP破解176
5.8 本章小结179
第6章 BeautifulSoup爬虫180
6.1 安装BeautifulSoup环境180
6.1.1 在Windows下安装BeautifulSoup180
6.1.2 在Linux下安装BeautifulSoup181
6.1.3 强大的IDE——Eclipse181
6.2 BeautifulSoup解析器190
6.2.1 bs4解析器选择190
6.2.2 lxml解析器的安装191
6.2.3 使用bs4过滤器192
6.3 bs4爬虫实战一：获取百度贴吧内容197
6.3.1 目标分析197
6.3.2 项目实施199
6.3.3 代码分析206
6.3.4 Eclipse调试207
6.4 bs4爬虫实战二：获取双色球中奖信息208
6.4.1 目标分析209
6.4.2 项目实施211
6.4.3 保存结果到Excel214
6.4.4 代码分析219
6.5 bs4爬虫实战三：获取起点小说信息220
6.5.1 目标分析220
6.5.2 项目实施222
6.5.3 保存结果到MySQL224
6.5.4 代码分析228
6.6 bs4爬虫实战四：获取电影信息229
6.6.1 目标分析229
6.6.2 项目实施230
6.6.3 bs4反爬虫233
6.6.4 代码分析235
6.7 bs4爬虫实战五：获取音悦台榜单236
6.7.1 目标分析236
6.7.2 项目实施237
6.7.3 代码分析242
6.8 本章小结243
第7章 PyQuery模块244
7.1 PyQuery模块244
7.1.1 什么是PyQuery模块244
7.1.2 PyQuery与其他工具244
7.1.3 PyQuery模块的安装245
7.2 PyQuery模块的用法247
7.2.1 使用字符串初始化247
7.2.2 使用文件初始化248
7.2.3 使用URL初始化249
7.3 CSS筛选器的使用250
7.3.1 基本CSS选择器250
7.3.2 查找节点251
7.3.3 遍历结果255
7.3.4 获取文本信息256
7.4 PyQuery爬虫实战一：爬取百度风云榜258
7.5 PyQuery爬虫实战二：爬取微博热搜259
7.6 本章小结260
第8章 Selenium模拟浏览器261
8.1 安装Selenium模块261
8.1.1 在Windows下安装Selenium模块261
8.1.2 在Linux下安装Selenium模块262
8.2 浏览器选择262
8.2.1 Webdriver支持列表262
8.2.2 在Windows下安装PhantomJS263
8.2.3 在Linux下安装PhantomJS265
8.3 Selenium&PhantomJS抓取数据266
8.3.1 获取百度搜索结果267
8.3.2 获取搜索结果269
8.3.3 获取有效数据位置271
8.3.4 从位置中获取有效数据273
8.4 Selenium&PhantomJS实战一：获取代理274
8.4.1 准备环境274
8.4.2 爬虫代码276
8.4.3 代码解释278
8.5 Selenium&PhantomJS实战二：漫画爬虫279
8.5.1 准备环境279
8.5.2 爬虫代码281
8.5.3 代码解释283
8.6 本章小结284

第9章 PySpider框架的使用285
9.1 安装PySpider285
9.1.1 安装PySpider285
9.1.2 使用PyQuery测试291
9.2 PySpider实战一：优酷影视排行293
9.2.1 创建项目293
9.2.2 爬虫编写一：使用PySpider+PyQuery实现爬取295
9.2.3 爬虫编写二：使用PySpider+ BeautifulSoup实现爬取301
9.3 PySpider实战二：电影下载304
9.3.1 项目分析304
9.3.2 爬虫编写306
9.3.3 爬虫运行、调试312
9.3.4 删除项目317
9.4 PySpider实战三：音悦台MusicTop320
9.4.1 项目分析320
9.4.2 爬虫编写321
9.5 本章小结325
0章 图形验证识别技术326
10.1 图像识别开源库：Tesseract326
10.1.1 安装Tesseract326
10.1.2 设置环境变量329
10.1.3 测试一：使用tesseract命令识别图片中的字符330
10.1.4 测试二：使用pytesseract模块识别图片中的英文字符331
10.1.5 测试三：使用pytesseract模块识别图片中的中文文字332
10.2 对网络验证码的识别333
10.2.1 图形验证实战一：读取网络验证码并识别333
10.2.2 图形验证实战二：对验证码进行转化334
10.3 实战三：破解滑块验证码335
10.3.1 所需工具335
10.3.2 解决思路335
10.3.3 编写代码336
10.4 本章小结341
1章 爬取App342
11.1 Charles的使用342
11.1.1 下载安装Charles342
11.1.2 界面介绍343
11.1.3 Proxy菜单345
11.1.4 使用Charles进行PC端抓包350
11.1.5 使用Charles进行移动端抓包350
11.2 Mitmproxy的使用351
11.2.1 安装Mitmproxy351
11.2.2 启动Mitmproxy352
11.2.3 编写自定义脚本354
11.2.4 Mitmproxy事件355
11.2.5 实战：演示Mitmproxy358
11.3 实战：使用Mi ump爬取App362
11.3.1 事先准备363
11.3.2 带脚本抓取364
11.3.3 分析结果并保存365
11.4 Appium的基本使用366
11.4.1 安装Appium—直接下载安装包AppiumDesktop366
11.4.2 安装Appium—通过Node.js368
11.4.3 Android 开发环境配置368
11.4.4 iOS 开发环境配置368
11.4.5 使用Appium369
11.4.6 操作App371
11.5 本章小结374
2章 爬虫与反爬虫375
12.1 防止爬虫IP被禁375
12.1.1 反爬虫在行动375
12.1.2 爬虫的应对378
12.2 在爬虫中使用Cookies382
12.2.1 通过Cookies反爬虫382
12.2.2 带Cookies的爬虫383
12.2.3 动态加载反爬虫386
12.2.4 使用浏览器获取数据386
12.3 本章小结386