您的位置:首页 >新闻资讯

怎么才能python爬虫被封禁是出现什么问题

来源:本站 作者:admin 时间:2019-04-29 17:41:26

做为python爬虫的一员,你是否遇到过IP地址一直被目标网站封杀却找不到原因?那么这里说几个python爬虫被封禁的常见问题,帮助你诊断一下问题出在哪里?


一、检查JavaScript,通常表现为抓取页面信息空白,缺少信息,或者抓取到的信息与你在浏览器上看到的内容不同。


二、检查正常浏览器提交的参数,在准备向网站提交表单或者发出post请求前,记得检查一下页面内容是否每个字段已经填好,格式是否正确。


三、是否有合法的cookie,通常表现为已登录网站却不能保持登录状态,或者出现“登录异常”提示。


四、IP被封禁,在访问抓取时如果遇到了HTTP错误,如403禁止访问错误,说明你的IP地址已被目标网站列入黑名单。遇到这种情况,要么静静等待IP地址自动从网站黑名单里移除,一般在24个小时之内;要么就换个IP地址,这里推荐风讯代理的代理IP,经常亲测多家,对于python爬虫,风讯代理有得天独厚的优势,例如提供API列表,IP数量多,IP稳定,IP安全性好,支持多终端并发使用等。


风讯代理

相关文章内容简介