✍ Scribed by 崔庆才
No coin nor oath required. For personal study only.
本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，后介绍了pyspider框架、Scrapy框架和分布式爬虫。
本书适合Python程序员阅读。
封面
书名
版权
前言
目录
第1章 开发环境配置
1.1 Python 3的安装
1.1.1 Windows下的安装
1.1.2 Linux下的安装
1.1.3 Mac下的安装
1.2 请求库的安装
1.2.1 requests的安装
1.2.2 Selenium的安装
1.2.3 ChromeDriver的安装
1.2.4 GeckoDriver的安装
1.2.5 PhantomJS的安装
1.2.6 aiohttp的安装
1.3 解析库的安装
1.3.1 lxml的安装
1.3.2 Beautiful Soup的安装
1.3.3 pyquery的安装
1.3.4 tesserocr的安装
1.4 数据库的安装
1.4.1 MySQL的安装
1.4.2 MongoDB的安装
1.4.3 Redis的安装
1.5 存储库的安装
1.5.1 PyMySQL的安装
1.5.2 PyMongo的安装
1.5.3 redis-py的安装
1.5.4 RedisDump的安装
1.6 Web库的安装
1.6.1 Flask的安装
1.6.2 Tornado的安装
1.7 App爬取相关库的安装
1.7.1 Charles的安装
1.7.2 mitmproxy的安装
1.7.3 Appium的安装
1.8 爬虫框架的安装
1.8.1 pyspider的安装
1.8.2 Scrapy的安装
1.8.3 Scrapy-Splash的安装
1.8.4 Scrapy-Redis的安装
1.9 部署相关库的安装
1.9.1 Docker的安装
1.9.2 Scrapyd的安装
1.9.3 Scrapyd-Client的安装
1.9.4 Scrapyd API的安装
1.9.5 Scrapyrt的安装
1.9.6 Gerapy的安装
第2章 爬虫基础
2.1 HTTP基本原理
2.1.1 URI和URL
2.1.2 超文本
2.1.3 HTTP和HTTPS
2.1.4 HTTP请求过程
2.1.5 请求
2.1.6 响应
2.2 网页基础
2.2.1 网页的组成
2.2.2 网页的结构
2.2.3 节点树及节点间的关系
2.2.4 选择器
2.3 爬虫的基本原理
2.3.1 爬虫概述
2.3.2 能抓怎样的数据
2.3.3 JavaScript渲染页面
2.4 会话和Cookies
2.4.1 静态网页和动态网页
2.4.2 无状态HTTP
2.4.3 常见误区
2.5 代理的基本原理
2.5.1 基本原理
2.5.2 代理的作用
2.5.3 爬虫代理
2.5.4 代理分类
2.5.5 常见代理设置
第3章 基本库的使用
3.1 使用urllib
3.1.1 发送请求
3.1.2 处理异常
3.1.3 解析链接
3.1.4 分析Robots协议
3.2 使用requests
3.2.1 基本用法
3.2.2 高级用法
3.3 正则表达式
3.4 抓取猫眼电影排行
第4章 解析库的使用
4.1 使用XPath
4.2 使用Beautiful Soup
4.3 使用pyquery
第5章 数据存储
5.1 文件存储
5.1.1 TXT文本存储
5.1.2 JSON文件存储
5.1.3 CSV文件存储
5.2 关系型数据库存储
5.2.1 MySQL的存储
5.3 非关系型数据库存储
5.3.1 MongoDB存储
5.3.2 Redis存储
第6章 Ajax数据爬取
6.1 什么是Ajax
6.2 Ajax分析方法
6.3 Ajax结果提取
6.4 分析Ajax爬取今日头条街拍美图
第7章 动态渲染页面爬取
7.1 Selenium的使用
7.2 Splash的使用
7.3 Splash负载均衡配置
7.4 使用Selenium爬取淘宝商品
第8章 验证码的识别
8.1 图形验证码的识别
8.2 极验滑动验证码的识别
8.3 点触验证码的识别
8.4 微博宫格验证码的识别
第9章 代理的使用
9.1 代理的设置
9.2 代理池的维护
9.3 付费代理的使用
9.4 ADSL拨号代理
9.5 使用代理爬取微信公众号文章
第10章 模拟登录
10.1 模拟登录并爬取GitHub
10.2 Cookies池的搭建
第11章 App的爬取
11.1 Charles的使用
11.2 mitmproxy的使用
11.3 mitmdump爬取“得到”App电子书
信息
11.4 Appium的基本使用
11.5 Appium爬取微信朋友圈
11.6 Appium+mitmdump爬取京东商品
第12章 pyspider框架的使用
12.1 pyspider框架介绍
12.2 pyspider的基本使用
12.3 pyspider用法详解
第13章 Scrapy框架的使用
13.1 Scrapy框架介绍
13.2 Scrapy入门
13.3 Selector的用法
13.4 Spider的用法
13.5 Downloader Middleware的用法
13.6 Spider Middleware的用法
13.7 Item Pipeline的用法
13.8 Scrapy对接Selenium
13.9 Scrapy对接Splash
13.10 Scrapy通用爬虫
13.11 Scrapyrt的使用
13.12 Scrapy对接Docker
13.13 Scrapy爬取新浪微博
第14章 分布式爬虫
14.1 分布式爬虫原理
14.2 Scrapy-Redis源码解析
14.3 Scrapy分布式实现
14.4 Bloom Filter的对接
第15章 分布式爬虫的部署
15.1 Scrapyd分布式部署
15.2 Scrapyd-Client的使用
15.3 Scrapyd对接Docker
15.4 Scrapyd批量部署
15.5 Gerapy分布式管理
📜 SIMILAR VOLUMES
<p>本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，后介绍了pyspider框架、Scrapy框架和分布式爬虫。</p> <p>本书适合Python程序员阅读。</p>
书签已装载， 书签制作方法请找 [email protected] 完全免费 本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，后介绍了pyspider框架、Scrapy框架和分布式爬虫。 本书适合Python程序员阅读。
<p>◎ 编辑推荐</p> <p>Python 之父 Guido van Rossum 推荐的爬虫入门书，第 1 版销量近 100000 册；</p> <p>微软中国大数据工程师、博客文章过百万的静觅大神力作；</p> <p>新增异步爬虫、JavaScript 逆向、App 逆向、智能网页解析、深度学习识别验证码、Kubernetes 运维及部署等知识点</p> <p>◎ 内容简介</p> <p>本书介绍了如何利用 Python 3 开发网络爬虫。本书为第 2 版，相比于第 1 版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。另外，主要增加了异步爬虫、Java
<p>◎ 编辑推荐</p> <p>Python 之父 Guido van Rossum 推荐的爬虫入门书，第 1 版销量近 100000 册；</p> <p>微软中国大数据工程师、博客文章过百万的静觅大神力作；</p> <p>新增异步爬虫、JavaScript 逆向、App 逆向、智能网页解析、深度学习识别验证码、Kubernetes 运维及部署等知识点</p> <p>◎ 内容简介</p> <p>本书介绍了如何利用 Python 3 开发网络爬虫。本书为第 2 版，相比于第 1 版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。另外，主要增加了异步爬虫、Java
<p>本书介绍如何利用Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的相关知识，涉及HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等内容。全书共分为14章，包括Python基础知识、网站分析、网页解析、Python文件的读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、Scrapy爬虫框架、爬虫性能等多个主题，内容覆盖网络抓取与爬虫编程中的主要知识和技术，在重视理论基础的前提下从实用性和丰富度出发，结合实例演示了编写爬虫程序的核心流程。 本书适合Python语言初学者、网络爬虫技术爱
<p>本书从原理到实践，循序渐进地讲述了使用Python开发网络爬虫的核心技术。全书从逻辑上可分为基础篇、实战篇和爬虫框架篇三部分。基础篇主要介绍了编写网络爬虫所需的基础知识，包括网站分析、数据抓取、数据清洗和数据入库。网站分析讲述如何使用Chrome和Fiddler抓包工具对网站做全面分析；数据抓取介绍了Python爬虫模块Urllib和Requests的基础知识；数据清洗主要介绍字符串操作、正则和BeautifulSoup的使用；数据入库讲述了MySQL和MongoDB的操作，通过ORM框架SQLAlchemy实现数据持久化，进行企业级开发。实战篇深入讲解了分布式爬虫、爬虫软件的开发、12