您的位置:首页 >新闻资讯

​分布式下的爬虫代理Scrapy应该如何伪装和防封

来源:本站 作者:admin 时间:2019-06-04 17:41:24

写好的爬虫代理ip放在网上爬,被封其实是一件很郁闷的事情,现在各个网站都会有相应的防爬的措施,一般来说模拟请求头一般都够了,不过仅仅是模拟请求头够么,答案当然是否定的,我们至少需要手动的打开一个网站,用fiddler 或者Chrome 的 F12 来具体看看我们一次真实的请求都做了哪些操作。


 分布式下的爬虫代理Scrapy应该如何伪装和防封


关于chrome和fiddler的使用,我就不细说了,自己百度吧,我们一般看到,在一次真实的请求中,我们都会带着各种样的请求参数,如果将这些参数补全,那我们被封的机率也会相应的减少很多。如何将这些参数在scrapy的项目补齐,那就是我们本次的研究主题。在开始这个问题之前,我们回头来看看scrapy的架构

 

从架构中我们可以清晰的看到,如果要操作这些参数,我们可以从Downloader Middlewares下载中间件着手,有人可能会有疑问:我记得Spider中有一个start_requests的方法,不是可以写到代码中么?

 

Scrapy在架构和django都有点类似,那就是松散耦合的原则,各个功能和文件都应该各司其职,做好自己的事情。

 

现在我们要实现这样的一个功能,在我们请求的时候,我们可以随机的更换请求头(User-Agent)。

相关文章内容简介
推荐阅读