使用C# Winform应用程序获取网页源文件的解决方法

在C# Winform 应用程序中,获取某网页的源文件,可以用以下方法:

首先引入名称空间
using System.IO;
using System.Net;

WebClient MyWebClient = new WebClient();

MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
Byte[] pageData = MyWebClient.DownloadData("http://www.baidu.com");
//string pageHtml = Encoding.Default.GetString(pageData);
 FileStream file = new FileStream("C:\\test.html", FileMode.Create);
 file.Write(pageData, 0, pageData.Length);

附,c# 获取网页源码的代码举例。
C# 获取指定网页HTML原代码可使用:WebClient WebRequest HttpWebRequest 三种方式。
当然也可使用webBrowse,有兴趣的朋友,可以自己研究下。

1,WebClient方式

private string GetWebClient(string url)
{
  string strHTML = "";
  WebClient myWebClient = new WebClient();
  Stream myStream = myWebClient.OpenRead(url);
  StreamReader sr = new StreamReader(myStream, System.Text.Encoding.GetEncoding("utf-8"));
  strHTML = sr.ReadToEnd();
  myStream.Close();
  return strHTML;
}

2,WebRequest方式

private string GetWebRequest(string url)
{
  Uri uri = new Uri(url);
  WebRequest myReq = WebRequest.Create(uri);
  WebResponse result = myReq.GetResponse();
  Stream receviceStream = result.GetResponseStream();
  StreamReader readerOfStream = new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
  string strHTML = readerOfStream.ReadToEnd();
  readerOfStream.Close();
  receviceStream.Close();
  result.Close();
  return strHTML;
}

3,HttpWebRequest方式

private string GetHttpWebRequest(string url)
{
  Uri uri = new Uri(url);
  HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(uri);
  myReq.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
  myReq.Accept = "*/*";
  myReq.KeepAlive = true;
  myReq.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");
  HttpWebResponse result = (HttpWebResponse)myReq.GetResponse();
  Stream receviceStream = result.GetResponseStream();
  StreamReader readerOfStream = new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
  string strHTML = readerOfStream.ReadToEnd();
  readerOfStream.Close();
  receviceStream.Close();
  result.Close();
  return strHTML;
}

注意:“utf-8”应与指定网页的编码对应。
总结
HttpWebRequest 方式最复杂,但确提供了更多的选择性。
有的网站检测客户端的UserAgent!如163.com,如果使用WebClient WebRequest方式获取,将获取到的是错误提示页面的内容。
HttpWebRequest没有这个问题。
测试环境:WIN2003 + VS2005 + C# + winForm

(0)

相关推荐

  • c# 正则表达式对网页进行有效内容抽取

    搜索引擎中一个比较重要的环节就是从网页中抽取出有效内容.简单来说,就是吧HTML文本中的HTML标记去掉,留下我们用IE等浏览器打开HTML文档看到的部分(我们这里不考虑图片). 将HTML文本中的标记分为:注释,script ,style,以及其他标记分别去掉: 1.去注释,正则为: output = Regex.Replace(input, @"<!--[^-]*-->", string.Empty, RegexOptions.IgnoreCase); 2.去scrip

  • C#基于正则表达式实现获取网页中所有信息的网页抓取类实例

    本文实例讲述了C#基于正则表达式实现获取网页中所有信息的网页抓取类.分享给大家供大家参考,具体如下: 类的代码: using System; using System.Data; using System.Configuration; using System.Net; using System.IO; using System.Text; using System.Collections.Generic; using System.Text.RegularExpressions; using

  • C#的正则表达式Regex类使用简明教程

    C#中为正则表达式的使用提供了非常强大的功能,这就是Regex类.这个包包含于System.Text.RegularExpressions命名空间下面,而这个命名空间所在DLL基本上在所有的项目模板中都不需要单独去添加引用,可以直接使用. 1.定义一个Regex类的实例 复制代码 代码如下: Regex regex = new Regex(@"\d"); 这里的初始化参数就是一个正则表达式,"\d"表示配置数字. 2.判断是否匹配 判断一个字符串,是否匹配一个正则表

  • C#正则表达式获取下拉菜单(select)的相关属性值

    给几个在C#中,使用正则表达式取页面下拉菜单(select)中的值示例: 复制代码 代码如下: //取html中全部 select 的 name Regex reg_name = new Regex(@"(?<=<select name=\"").*?(?=\"")"); //取html中全部<select>项的值 Regex reg_select = new Regex("(?is)<select nam

  • C#使用正则表达式抓取网站信息示例

    本文实例讲述了C#使用正则表达式抓取网站信息的方法.分享给大家供大家参考,具体如下: 这里以抓取京东商城商品详情为例. 1.创建JdRobber.cs程序类 public class JdRobber { /// <summary> /// 判断是否京东链接 /// </summary> /// <param name="param"></param> /// <returns></returns> public

  • C# 正则表达式经典分类整理集合手册第1/3页

    有一段时间,正则表达式学习很火热很潮流,当时在CSDN一天就能看到好几个正则表达式的帖子,那段时间借助论坛以及Wrox Press出版的<C#字符串和正则表达式参考手册>学习了一些基础的知识,同时也为我在CSDN大概赚了1000分,今天想起来,去找<C#字符串和正则表达式参考手册>时,已经不知所踪了.(1)"@"符号 符下两ows表研究室的火热,当晨在"@"虽然并非C#正则表达式的"成员",但是它经常与C#正则表达式出双入

  • WinForm使用正则表达式提取内容的方法示例

    本文实例讲述了WinForm使用正则表达式提取内容的方法.分享给大家供大家参考,具体如下: 用VS新建WinForm程序,窗体上是三个文本框和一个按钮. 可以自己构造正则表达式,自己修改匹配内容 正则表达是要提取的部分为hewenqitext 代码如下: using System; using System.Text.RegularExpressions; using System.Windows.Forms; namespace HoverTreeBatch.HoverTree { publi

  • C#通过正则表达式实现提取网页中的图片

    目前在做项目中有处理图片的部分,参考了一下网上案例,自己写了一个获取内容中的图片地址的方法. 一般来说一个 HTML 文档有很多标签,比如"<html>"."<body>"."<table>"等,想把文档中的 img 标签提取出来并不是一件容易的事.由于 img 标签样式变化多端,使提取的时候用程序寻找并不容易.于是想要寻找它们就必须写一个非常健全的正则表达式,不然有可能会找得不全,或者找出来的不是正确的 im

  • 常用正则 常用的C#正则表达式

    常用的C#正则表达式! "^\d+$" //非负整数(正整数 + 0)  "^[0-9]*[1-9][0-9]*$" //正整数  "^((-\d+)|(0+))$" //非正整数(负整数 + 0)  "^-[0-9]*[1-9][0-9]*$" //负整数  "^-?\d+$" //整数  "^\d+(\.\d+)?$" //非负浮点数(正浮点数 + 0)  "^(([0-9

  • 使用C#正则表达式获取必应每日图片地址

    微软的Bing搜索引擎首页每天都会提供了一些有趣的图片,下面使用正则表达式获取图片的地址,不管是在手机app还是在网站上都是很好的图片素材,而且每天更新,非常不错. 首先访问微软的API,该地址返回的是xml文本,获取xml文本后使用正则表达式匹配url节点中的内容,加上必应主页链接即可获得图片的真实网址.下面是获取网址的全部代码. string InfoUrl = "http://cn.bing.com/HPImageArchive.aspx?idx=0&n=1"; Http

  • C#中的正则表达式 学习资料

    C#中的正则表达式 Jeffrey E.F. Friedl写了一本关于正则表达式的书<精通正则表达式>.作者为了使读者更好的理解和掌握正则表达式,编造了一个故事.该书的语言以perl为主.据我所知C#中的正则表达式也是基于perl5.所以它们应该有许多的共同之处. http://ike.126.com 其实,我并不打算原封不动的对该书的内容进行翻译,一则这本书内容太多了,我根本就不胜任翻译这项工作:二则如果我真的把这本书翻译过来,同时把里面的代码换成C#,在没有征得原作者的情况下,可能有侵权的

随机推荐