您的位置:首页 >新闻资讯

可用来抓取数据的几款Python开源爬虫软件工具

来源:本站 作者:admin 时间:2019-05-08 17:19:12

说起Python,可谓是耳熟能详,这几年来很火的一种编程语言,大都数人都用它来入门爬虫,就连我也不例外,今天我们来看看几款Python开源爬虫软件工具。


可用来抓取数据的几款Python开源爬虫软件工具


一、QuickRecon


QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写,支持linux和 windows操作系统。


授权协议: GPLv3


开发语言: Python


操作系统: Windows、 Linux


特点:具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能。


二、PyRailgun


这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块。


授权协议: MIT


开发语言: Python


操作系统: 跨平台、 Windows 、Linux 、OS X


特点:简洁、轻量、高效的网页抓取框架。


三、Scrapy


Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。


授权协议: BSD


开发语言: Python


操作系统: 跨平台


特点:基于Twisted的异步处理框架,文档齐全。


相关文章内容简介
推荐阅读