您的位置:首页 >新闻资讯

JAVA如何使用代理IP来进行爬虫采集

来源:本站 作者:admin 时间:2019-05-15 16:35:40

如果说爬虫的出现是为了爬取网页信息,收集数据的,那么代理IP的出现就是为了爬虫保驾护航的,爬虫大家都知道,我们总在一个网站爬取的时候,网站的反爬虫机制可能会对我们的IP进行限制,这个数据采集无法继续进行,代理IP的使用就是在这个时候为爬虫穿上一个防护衣,防止IP被限制。


JAVA如何使用代理IP来进行爬虫采集


那么下面就为大家讲一下JAVA中是怎么使用代理IP来爬虫的,内容很简单,这里我分享了两种不同的方法,以供大家选择。


Java语言有两种方式使用代理IP访问网址并获取内容,


方式一,设置System系统属性


Java代码 收藏代码


// 设置代理IP


System.getProperties().setProperty("proxySet", "true");


System.getProperties().setProperty("http.proxyHost", "218.26.204.66");


System.getProperties().setProperty("http.proxyPort", "8080");


HttpUrlConnection connection=(HttpUrlConnection)new URL("http://www.baidu.com/").openConnection();


connection.setConnectTimeout(6000); // 6s


connection.setReadTimeout(6000);


connection.setUseCaches(false);


if(connection.getResponseCode==200){


System.out.println("使用代理IP连接网络成功");


}

 

方式二,使用java.net.Proxy类

 

Java代码 收藏代码

 

// 使用java.net.Proxy类设置代理IP

 

Proxy proxy=new Proxy(Proxy.Type.HTTP, new InetSocketAddress("123.22.43.3", 8080); HttpUrlConnection connection=(HttpUrlConnection)new URL("http://www.baidu.com/").openConnection(proxy);

 

connection.setConnectTimeout(6000); // 6s


connection.setReadTimeout(6000);


connection.setUseCaches(false);


if(connection.getResponseCode==200){


System.out.println("使用代理IP连接网络成功");


}

 


相关文章内容简介
推荐阅读