您的位置:首页 >新闻资讯

c#爬虫使用代理IP视频抓取

来源:本站 作者:admin 时间:2019-06-01 17:39:20

c#爬虫视频,现在写爬虫的语言很多,常见的都是用c语言,php等等,但是爬虫抓取数据最重要的还是代理ip,为什么风讯代理软件做业务的成功率就会很高?下面我来介绍一下。

 

多线程爬取网页代码:

 

System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.IO;using System.Linq;using System.Text;using System.Text.RegularExpressions;using System.Threading;using System.Threading.Tasks;using System.Windows.Forms;using Utils;

 

namespace 爬虫{ public partial class Form1 : Form { List threadList=new List(); Thread thread=null;

 

public Form1() { InitializeComponent(); }

 

private void button1_Click(object sender, EventArgs e) { DateTime dtStart=DateTime.Now; button3.Enabled=true; button2.Enabled=true; button1.Enabled=false; int page=0; int count=0; int personCount=0; lblPage.Text="已完成页数:0"; int index=0;

 

for (int i=1; i <=10; i++) { thread=new Thread(new ParameterizedThreadStart(delegate(object obj) { for (int j=1; j <=10; j++) { try { index=(Convert.ToInt32(obj) - 1) * 10 + j; string pageHtml=HttpRequestUtil.GetPageHtml("http://tt.mop.com/c44/0/1_" + index.ToString() + ".html"); Regex regA=new Regex("

 

0) { lblSpeed.Text="速度:" + (count / time).ToString("0.0") + "张/秒"; } })); } catch { } Thread.Sleep(1); } } } } } catch { } page++; lblPage.Invoke(new Action(delegate() { lblPage.Text="已完成页数:" + page.ToString(); }));

 

if (page==100) { button1.Invoke(new Action(delegate() { button1.Enabled=true; })); MessageBox.Show("完成!"); } } })); thread.Start(i); threadList.Add(thread); } }

 

private void button2_Click(object sender, EventArgs e) { button1.Invoke(new Action(delegate() { foreach (Thread thread in threadList) { if (thread.ThreadState==ThreadState.Suspended) { thread.Resume(); } thread.Abort(); } button1.Enabled=true; button2.Enabled=false; button3.Enabled=false; button4.Enabled=false; })); }

 

private void Form1_FormClosing(object sender, FormClosingEventArgs e) { foreach (Thread thread in threadList) { thread.Abort(); } }

 

private void button3_Click(object sender, EventArgs e) { foreach (Thread thread in threadList) { if (thread.ThreadState==ThreadState.Running) { thread.Suspend(); } } button3.Enabled=false; button4.Enabled=true; }

 

private void button4_Click(object sender, EventArgs e) { foreach (Thread thread in threadList) { if (thread.ThreadState==ThreadState.Suspended) { thread.Resume(); } } button3.Enabled=true; button4.Enabled=false; } }}

 

使用我们的风讯代理有哪些优势?


 风讯代理


1、分布式代理IP数万代理IP节点分布全国各个省市,IP段无重复。

 

2、支持多线程高并发使用。

 

3、家庭宽带线路所有资源均来自家庭宽带终端,IP绿色纯净,适用所有项目。

 

4、多项使用授权使用代理IP时需要用户名密码或IP白名单绑定,后台自由切换。

 

5、长效+HTTPS所有代理IP支持HTTPS协议,使用无需客户端支持,代理IP平均使用时长高达4小时。

相关文章内容简介
推荐阅读