每日干货好文分享丨请点击+关注

欢迎关注天善智能微信公众号，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区。

对商业智能BI、数据分析挖掘、大数据、机器学习感兴趣的加微信：tsbeidou，邀请你进入交流群，数据爱好者们都在这儿。

1、爬取过程中的302重定向

在爬取某个网站速度过快或者发出的请求过多的时候，网站会向你所在的客户端发送一个链接，需要你去验证图片。我在爬链家和拉钩网的过程中就曾经遇到过：

对于302重定向的问题，是由于抓取速度过快引起网络流量异常，服务器识别出是机器发送的请求，于是将请求返回链接定到某一特定链接，大多是验证图片或空链接。

在这种时候，既然已经被识别出来了，就使用代理ip再继续抓取。

2、headers头文件

有些网站对爬虫反感，对爬虫请求一律拒绝，这时候我们需要伪装成浏览器，通过修改http中的headers来实现

3、模拟登陆

一般登录的过程都伴随有验证码，这里我们通过selenium自己构造post数据进行提交，将返回验证码图片的链接地址输出到控制台下，点击图片链接识别验证码，输入验证码并提交，完成登录。

这里面，PhantomJS是一个很棒的exe，下载地址：phantomjs。他可以模拟浏览器行为进行操作。当我们遇到JS渲染的网页，在使用正则表达式、BS4和xpath . . . 都无法匹配出数据时（数据根本没加载上），可以使用PhantomJS模拟浏览器行为发送请求，将会得到网页的原始全部数据。

4、代理ip

当爬取速度过快时，当请求次数过多时都面临ip被封的可能。因此使用代理也是必备的。

使用request加代理

使用urllib加代理

5、验证码输入

遇到验证的问题，我一般都是人工识别：获取验证码的链接再控制台下 ——> 点击链接识别验证码 ——> 在控制台手动输入验证码并提交。

6、ajax加载的数据

对于ajax加载的数据，我们无论通过request或post方法请求得到的网页都无法得到。

关于一个网页是否是ajax加载数据，我们只需将网页内容print到控制台下，将其与网页原始内容进行比对，如果有数据缺失，那么这些数据就是ajax加载。例如：我们想获取京东上商品的价格、销量、好评等方面的数据，但是请求返回的网页中没有这些数据。因为这些数据是ajax加载。对于ajax加载的页面，一般有两种方法。

（1）分析网页

按F12打开浏览器调试工具，在Network下选择XHR或Doc标签，分析（双击点开查看）这两个标签下的链接。如果点开链接打开的网页中正好有那些没有加载的数据，则这些数据是通过该链接传送的。再对该链接进行规律分析，以后对该链接发送请求。

（2）使用PhantomJS模拟浏览器行为

使用PhantomJS模拟浏览器进行发送请求，得到返回的内容是完全的（ajax加载的数据也会有）。但是使用PhantomJS请求速度过慢，一般一个网页4~5s时间，不能忍。一般要使用PhantomJS需要开多线程。

本文来源自天善社区博客，转载请保留以下内容：

本文作者：天善社区博客 超人Python

原文链接：

https://ask.hellobi.com/blog/pythoncrawl/6178