您的位置:首页 >新闻资讯

python验证http代理ip的方法

来源:本站 作者:admin 时间:2019-06-12 17:09:39

我们都知道一般的网站都有反爬虫的系统限制,我们长时间对一个网站进行抓取的时候可能会遇到IP被封的情况,其实这样的情况,我们可以使用代理IP来解决,来突破IP服务器对IP的限制。那么我们怎么知道HTTP代理IP是可以使用的呢?这个时候我们可以用python 验证一下,下面跟大家分享一下验证的具体方法:


 python验证http代理ip的方法


验证代理IP是否可用的原理是使用代理IP访问指定网站,如果返回的状态为200,那么这个代理IP就是可用的。

 

可以使用requests包来进行验证

 

import requests try: requests.get('http://wenshu.court.gov.cn/', proxies=) except: print 'connect failed' else: print 'success'

 

把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。

 

也使用telnet来验证的方法:

 

mport telnetlib

 

try:

 

telnetlib.Telnet('127.0.0.1', port='80', timeout=20)

 

except:

 

print 'connect failed'

 

else:

 

print 'success'

 


相关文章内容简介
推荐阅读