您的位置:首页 >新闻资讯

python3程序中代理ip该怎样使用

来源:本站 作者:admin 时间:2019-06-15 16:44:09

说起代理IP,使用还真是广泛,做注册可以用,抢购可以用,投票可以用,网络业务还可以用,用途还真的是广泛,可以说是涉及到方方面面了。但是这些呢都是代理IP的用途,下面我要说的是不用的程序中代理IP该怎样用,今天这里就主要说一下python3使用代理IP。


python3程序中代理ip该怎样使用


首先要找一个可以提供代理ip的网站,然后爬下网站上的ip地址和端口号。最后用爬取出来的ip做代理访问指定网站。分页解析代码如下:


def getProxyIp():

 

proxy=[]

 

for i in range(1, 3):

 

print(i)

 

header={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '

 

'AppleWebKit/537.36 (KHTML, like Gecko) '

 

'Ubuntu Chromium/44.0.2403.89 '

 

'Chrome/44.0.2403.89 '

 

'Safari/537.36'}

 

req=urllib.request.Request(url='http://www.xicidaili.com/nt/{0}'.format(i), headers=header)

 

r=urllib.request.urlopen(req)

 

soup=BeautifulSoup(r,'html.parser',from_encoding='utf-8')

 

table=soup.find('table', attrs={'id': 'ip_list'})

 

tr=table.find_all('tr')[1:]

 

#解析得到代理ip的地址,端口,和类型

 

for item in tr:

 

tds=item.find_all('td')

 

temp_dict={}

 

kind="{0}:{1}".format(tds[1].get_text().lower(), tds[2].get_text())

 

proxy.append(kind)

 

return proxy

 

head是模仿浏览器请求。将最后解析出来ip和端口号的结果放在proxy里面。然后就可以使用代理访问网站了。

相关文章内容简介