您的位置:首页 >新闻资讯

关于python3代理ip池的使用

来源: 作者:admin 时间:2019-06-12 17:13:14

在爬虫、自然语言处理中,经常看到python3、casper等相对于httpclient较新的框架及采集解决方案,今天就代理IP这方面,跟大家说一下python3代理ip池的使用。


 关于python3代理ip池的使用


首先还是跟大家普及一下知识点,什么是 python3。Python是纯粹的自由软件, 源代码和解释器CPython遵循 GPL(GNUGeneral Public License)协议 。Python语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。

 

下面主要跟大家分享一下代理IP池的使用:

 

# encoding:utf-8

 

import requests # 导入requests模块用于访问测试自己的ip

 

import random

 

# 你的网页请求头信息

 

head={

 

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

 

url='http://www.whatismyip.com.tw/' # 你用于测试自己ip的网站

 

request=requests.get(url, proxies={'http': random.choice(pro)}, headers=head) # 让问这个网页 随机生成一个ip

 

request.encoding=request.apparent_encoding # 设置编码 encoding 返回的是请求头编码 apparent_encoding 是从内容网页中分析出的响应内容编码方式

 

print(request.text) # 输出返回的内容

 


相关文章内容简介
推荐阅读