●章爬虫基础1
1．1HTTP基本原理1
1．2Web网页基础12
1．3爬虫的基本原理19
1．4Session和Cookie21
1．5代理的基本原理24
1．6多线程和多进程的基本原理26
第2章基本库的使用29
2．1urllib的使用29
2．2requests的使用47
2．3正则表达式63
2．4httpx的使用73
2．5基础爬虫案例实战78
第3章网页数据的解析提取90
3．1XPath的使用90
3．2Beautiful Soup的使用99
3．3pyquery的使用113
3．4parsel的使用124
第4章数据的存储128
4．1TXT文本文件存储128
4．2JSON文件存储130
4．3CSV文件存储134
4．4MySQL存储138
4．5MongoDB文档存储144
4．6Redis缓存存储151
4．7Elasticsearch搜索引擎存储159
4．8RabbitMQ的使用166
第5章Ajax数据爬取174
5．1什么是Ajax174
5．2Ajax分析方法176
5．3Ajax分析与爬取实战179
第6章异步爬虫191
6．1协程的基本原理191
6．2aiohttp的使用201
6．3aiohttp异步爬取实战207
第7章JavaScript动态渲染页面爬取212
7．1Selenium的使用212
7．2Splash的使用226
7．3Pyppeteer的使用242
7．4Playwright的使用257
7．5Selenium爬取实战269
7．6Pyppeteer爬取实战276
7．7CSS位置偏移反爬案例分析与爬取实战282
7．8字体反爬案例分析与爬取实战287
第8章验证码的识别293
8．1使用OCR技术识别图形验证码293
8．2使用OpenCV识别滑动验证码的缺口298
8．3使用深度学习识别图形验证码304
8．4使用深度学习识别滑动验证码的缺口309
8．5使用打码平台识别验证码316
8．6手机验证码的自动化处理324
第9章代理的使用331
9．1代理的设置331
9．2代理池的维护340
9．3付费代理的使用351
9．4ADSL拨号代理的搭建方法357
9．5代理反爬案例爬取实战365
0章模拟登录373
10．1模拟登录的基本原理373
10．2基于Session和Cookie的模拟登录爬取实战376
10．3基于JWT的模拟登录爬取实战381
10．4大规模账号池的搭建385
1章JavaScript逆向爬虫397
11．1网站加密和混淆技术简介397
11．2浏览器调试常用技巧413
11．3JavaScript Hook的使用430
11．4无限debugger的原理与绕过440
11．5使用Python模拟执行JavaScript445
11．6使用Node．js模拟执行JavaScript451
11．7浏览器环境下JavaScript的模拟执行454
11．8AST技术简介460
11．9使用AST技术还原混淆代码472
11．10特殊混淆案例的还原480
11．11WebAssembly案例分析和爬取实战490
11．12JavaScript逆向技巧总结498
11．13JavaScript逆向爬取实战505
2章App数据的爬取530
12．1Charles抓包工具的使用530
12．2mitmproxy抓包工具的使用538
12．3mitmdump实时抓包处理544
12．4Appium的使用551
12．5基于Appium的App爬取实战562
12．6Airtest的使用568
12．7基于Airtest的App爬取实战585
12．8手机群控爬取实战591
12．9云手机的使用594
3章Android逆向603
13．1jadx的使用603
13．2JEB的使用615
13．3Xed框架的使用624
13．4基于Xed的爬取实战案例635
13．5Frida的使用3
13．6SSL Pining问题的解决方案650
13．7Android脱壳技术简介与实战657
13．8利用IDA Pro静态分析和动态调试so文件6
13．9基于Frida-RPC模拟执行so文件680
13．10基于AndServer-RPC模拟执行so文件685
13．11基于unidbg模拟执行so文件692
4章页面智能解析700
14．1页面智能解析简介700
14．2详情页智能解析算法简介707
14．3详情页智能解析算法的实现714
14．4列表页智能解析算法简介722
14．5列表页智能解析算法的实现727
14．6如何智能分辨列表页和详情页735
5章Scrapy框架的使用739
15．1Scrapy框架介绍739
15．2Scrapy入门743
15．3Selector的使用754
15．4Spider的使用759
15．5Downloader Middleware的使用766
15．6Spider Middleware的使用775
15．7Item Pipeline的使用781
15．8Extension的使用792
15．9Scrapy对接Selenium795
15．10Scrapy对接Splash801
15．11Scrapy对接Pyppeteer806
15．12Scrapy规则化爬虫813
15．13Scrapy实战827
6章分布式爬虫840
16．1分布式爬虫理念840
16．2Scrapy-Redis原理和源码解析842
16．3基于Scrapy-Redis的分布式爬虫实现847
1基于Bloom Filter进行大规模去重851
16．5基于RabbitMQ的分布式爬虫859
7章爬虫的管理和部署862
17．1Scrapyd和ScrapydAPI的使用862
17．2Scrapyd-Client的使用867
17．3Gerapy爬虫管理框架的使用869
17．4将Scrapy项目打包成Docker镜像873
17．5Docker Come的使用878
17．6Kubernetes的使用880
17．7用Kubernetes部署和管理Scrapy爬虫888
17．8Scrapy分布式爬虫的数据统计方案899
17．9基于Prometheus和Grafana的分布式爬虫监控方案904
附录爬虫与法律917