您的位置:首页 >新闻资讯

爬虫IP代理池模块

来源:本站 作者:admin 时间:2019-05-10 17:42:10

代码模块

 

Python中高层次的数据结构,动态类型和动态绑定,使得它非常适合于快速应用开发,连接已有的软件部件。用Python方式搭建这个代理IP池也很简单,代码分为6个模块:


Python


api接口相关代码,目前api是由Flask实现,代码还是很简单的。客户端请求传给Flask,Flask调用ProxyManager中的实现,包括get/delete/refresh/get_all;

 

数据库相关代码,数据保存是采用SSDB。代码用工厂模式实现,主要是为了以后扩展其他类型数据库;

 

Manager:

 

get/delete/refresh/get_all等接口的具体实现类,目前代理池只负责管理proxy,功能会不断增加,比如代理和爬虫的绑定,代理和账号的绑定等等;

 

ProxyGetter:

 

代理获取的相关代码,目前抓取了风讯代理。

 

Schedule:

 

定时任务相关代码,定时去刷新代码,主要是看看哪些是可用的,采用多进程方式;

 

Util:

 

存放一些公共的模块方法或函数,包含GetConfig:i的类,ConfigParse:集成重写ConfigParser的类。

相关文章内容简介
推荐阅读