爬虫IP代理池模块

代码模块

Python中高层次的数据结构,动态类型和动态绑定,使得它非常适合于快速应用开发,连接已有的软件部件。用Python方式搭建这个代理IP池也很简单，代码分为6个模块：

api接口相关代码，目前api是由Flask实现，代码还是很简单的。客户端请求传给Flask，Flask调用ProxyManager中的实现，包括get/delete/refresh/get_all；

数据库相关代码，数据保存是采用SSDB。代码用工厂模式实现，主要是为了以后扩展其他类型数据库；

Manager:

get/delete/refresh/get_all等接口的具体实现类，目前代理池只负责管理proxy，功能会不断增加，比如代理和爬虫的绑定，代理和账号的绑定等等；

ProxyGetter:

代理获取的相关代码，目前抓取了风讯代理。

Schedule:

定时任务相关代码，定时去刷新代码，主要是看看哪些是可用的，采用多进程方式；

Util:

存放一些公共的模块方法或函数，包含GetConfig:i的类，ConfigParse:集成重写ConfigParser的类。