您的位置:首页 >新闻资讯

php爬虫如何切换代理

来源: 作者:admin 时间:2019-05-14 15:14:23

如何使用Python实现爬虫代理IP池


代理IP池


选择PHP来爬很简单也很方便,主要是PHP的正则表达式功能在搜集页面连接方面很方便,另外PHP的fopen、file_get_contents以及libcur的函数非常方便的下载网页内容。

 

具体处理方式就是建立就一个任务队列,往队列里面插入一些种子任务和可以开始爬行,爬行的过程就是需要提取URL,打开后获取连接插入队列中,进行相关的保存。队列可以使用数组实现。

 

1、点击软件设置界面

 

2、查看自己使用的哪个浏览器

 

(1)【使用内置浏览器】使用风讯代理内置浏览器,点击切换IP后会自动弹出。优点:每个进程使用独立的代理IP;每个进程使用独立的隐私模式,无需清理cookies;可以使用UA伪装;一次性最多可打开10个不同IP的蚂蚁内置浏览器。

 

(2)【使用系统浏览器】使用本地电脑默认浏览器,点击切换IP后会自动弹出。优点:可以使用自己熟悉的浏览器;可以在换IP前自动清理系统cookies。

 

(3)【不使用任何浏览器】点击切换IP后不会弹出浏览器。优点:可以设置自动更换IP时间;可以代理QQ、YY等软件。

 


相关文章内容简介
推荐阅读