深入学习C#网络编程之HTTP应用编程(下)

第三篇来的好晚啊,上一篇说了如何向服务器推送信息,这一篇我们看看如何"快好准"的从服务器下拉信息。

网络上有很多大资源文件,比如供人下载的zip包,电影(你懂的),那么我们如何快速的进行下载,大家第一反应肯定就是多线程下载,

那么这些东西是如何做的呢?首先我们可以从“QQ的中转站里面拉一个rar下来“。

然后用fiddler监视一下,我们会发现一个有趣的现象:

第一:7.62*1024*1024≈7990914  千真万确是此文件

第二:我明明是一个http链接,tmd的怎么变成n多个了?有意思。

好,我们继续往下看,看看这些链接都做了些什么?

最终,我们发现http协议中有一个Conent—Range字段,能够把我们的文件总大小进行切分,然后并行下载,最后再进行合并,大概我们知道了什么原理,那么,我们强大的C#类库提供了AddRange来获取Http中资源的指定范围。

既然进行了切分,那么首先一定要知道文件的ContentLength是多少,如果对http协议比较熟悉的话,当发送一个头信息过去,服务器返回的头信息中会包含很多东西,此时我们就知道要下载资源的大概情况,这个就有点“兵马未动,粮草先行“的感觉。

var request = (HttpWebRequest)HttpWebRequest.Create(url);

      request.Method = "Head";

      request.Timeout = 3000;

      var response = (HttpWebResponse)request.GetResponse();

      var code = response.StatusCode;

      if (code != HttpStatusCode.OK)
      {
        Console.WriteLine("下载资源无效!");
        return;
      }

      var total = response.ContentLength;

这里有个决策,到底是以下载量来决定线程数,还是以线程数来决定下载量,由于我们的下载取决于当前的网速,所以在这种场合下更好的方案是

采用后者,这几天在闪存里面两次看到苍老师,肃然起敬,所以决定在不用线程和线程的情况下,看看下载仓老师的速度如何。

View Code
  using System;
  using System.Collections.Generic;
  using System.Linq;
  using System.Text;
  using System.Net;
  using System.Threading;
  using System.Threading.Tasks;
  using System.IO;
  using System.Collections.Concurrent;
 using System.Diagnostics;
 using System.Drawing;

 namespace ConsoleApplication1
 {
   public class Program
   {
     public static CountdownEvent cde = new CountdownEvent(0);

     //每个线程下载的字节数,方便最后合并
     public static ConcurrentDictionary<long, byte[]> dic = new ConcurrentDictionary<long, byte[]>();

     //请求文件
     public static string url = "https://www.jb51.net/";

     static void Main(string[] args)
     {
       for (int i = 0; i < 1; i++)
       {
         Console.WriteLine("\n****************************\n第{0}次比较\n****************************", (i + 1));

         //不用线程
         //RunSingle();

         //使用多线程
         RunMultiTask();
       }

       Console.Read();
     }

     static void RunMultiTask()
     {
       Stopwatch watch = Stopwatch.StartNew();

       //开5个线程
       int threadCount = 5;

       long start = 0;

       long end = 0;

       var total = GetSourceHead();

       if (total == 0)
         return;

       var pageSize = (int)Math.Ceiling((Double)total / threadCount);

       cde.Reset(threadCount);

       Task[] tasks = new Task[threadCount];

       for (int i = 0; i < threadCount; i++)
       {
         start = i * pageSize;

         end = (i + 1) * pageSize - 1;

         if (end > total)
           end = total;

         var obj = start + "|" + end;

         tasks[i] = Task.Factory.StartNew(j => new DownFile().DownTaskMulti(obj), obj);
       }

       Task.WaitAll(tasks);

       var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

       FileStream fs = new FileStream(targetFile, FileMode.Create);

       var result = dic.Keys.OrderBy(i => i).ToList();

       foreach (var item in result)
       {
         fs.Write(dic[item], 0, dic[item].Length);
       }

       fs.Close();

       watch.Stop();

       Console.WriteLine("多线程:下载耗费时间:{0}", watch.Elapsed);
     }

     static void RunSingle()
     {
       Stopwatch watch = Stopwatch.StartNew();

       if (GetSourceHead() == 0)
         return;

       var request = (HttpWebRequest)HttpWebRequest.Create(url);

       var response = (HttpWebResponse)request.GetResponse();

       var stream = response.GetResponseStream();

       var outStream = new MemoryStream();

       var bytes = new byte[10240];

       int count = 0;

       while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
       {
         outStream.Write(bytes, 0, count);
       }

       var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

       FileStream fs = new FileStream(targetFile, FileMode.Create);

       fs.Write(outStream.ToArray(), 0, (int)outStream.Length);

       outStream.Close();

       response.Close();

       fs.Close();

       watch.Stop();

       Console.WriteLine("不用线程:下载耗费时间:{0}", watch.Elapsed);
     }

     //获取头信息
     public static long GetSourceHead()
     {
       var request = (HttpWebRequest)HttpWebRequest.Create(url);

       request.Method = "Head";
       request.Timeout = 3000;

       var response = (HttpWebResponse)request.GetResponse();

       var code = response.StatusCode;

       if (code != HttpStatusCode.OK)
       {
         Console.WriteLine("下载的资源无效!");
         return 0;
       }

       var total = response.ContentLength;

       Console.WriteLine("当前资源大小为:" + total);

       response.Close();

       return total;
     }
   }

   public class DownFile
   {
     // 多线程下载
     public void DownTaskMulti(object obj)
     {
       var single = obj.ToString().Split('|');

       long start = Convert.ToInt64(single.FirstOrDefault());

       long end = Convert.ToInt64(single.LastOrDefault());

       var request = (HttpWebRequest)HttpWebRequest.Create(Program.url);

       request.AddRange(start, end);

       var response = (HttpWebResponse)request.GetResponse();

       var stream = response.GetResponseStream();

       var outStream = new MemoryStream();

       var bytes = new byte[10240];

       int count = 0;

       while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
       {
         outStream.Write(bytes, 0, count);
       }

       outStream.Close();

       response.Close();

       Program.dic.TryAdd(start, outStream.ToArray());

       Program.cde.Signal();
     }
   }
 }

在下面的图中可以看出,我们的资源被分成了n段,在217.27KB的情况下,多线程加速还不是很明显,我们可以试试更大的文件,这里我就

在本地放一个133M的rar文件。

    //请求文件
    public static string url = http://localhost:56933/1.rar;

现在看一下效果是非常明显的。

以上就是深入学习C#网络编程之HTTP应用编程(下)的详细内容,更多关于C#网络编程之HTTP应用编程的资料请关注我们其它相关文章!

(0)

相关推荐

  • 深入学习C#网络编程之HTTP应用编程(上)

    我们学习网络编程最熟悉的莫过于Http,好,我们就从Http入手,首先我们肯定要了解一下http的基本原理和作为,对http的工作原理有 一定程度的掌握,对我们下面的学习都是有很大帮助的. 一: 工作方式 ①:client和server建立可靠的TCP连接. ②:然后client通过Socket向server发送http请求. ③:server端处理请求,返回处理数据. ④:在http1.0中,client与server之间的tcp连接立即断开. 但在http1.1中,因为默认支持"tcp的长连

  • 总结C#网络编程中对于Cookie的设定要点

    花了2天时间,彻底搞清C#中cookie的内容,搞清以下内容将让你对所有网站的cookie都尽在掌握之中. cookieCollection是一个针对一个域所有的cookie的集合 cookeContainer是一个容器,里面可以装多个域的cookie的集合,即一个 cookieContainer可以包含多个cookieCollection,这个容器可以定义大小,决定 最多装多少个cookie,如果装满了还要再装,它会自动剔除原来过期的cookie. 再说到一个cookie的结构: Cookie

  • C#中HttpWebRequest、WebClient、HttpClient的使用详解

    HttpWebRequest: 命名空间: System.Net,这是.NET创建者最初开发用于使用HTTP请求的标准类.使用HttpWebRequest可以让开发者控制请求/响应流程的各个方面,如 timeouts, cookies, headers, protocols.另一个好处是HttpWebRequest类不会阻塞UI线程.例如,当您从响应很慢的API服务器下载大文件时,您的应用程序的UI不会停止响应.HttpWebRequest通常和WebResponse一起使用,一个发送请求,一个

  • C#网络编程基础之进程和线程详解

    在C#的网络编程中,进程和线程是必备的基础知识,同时也是一个重点,所以我们要好好的掌握一下. 一:概念 首先我们要知道什么是"进程",什么是"线程",好,查一下baike. 进程:是一个具有一定独立功能的程序关于某个数据集合的一次活动.它是操作系统动态执行的基本单元, 在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元. 线程:是"进程"中某个单一顺序的控制流. 关于这两个概念,大家稍微有个印象就行了,防止以后被面试官问到. 二:进程

  • C# Socket网络编程实例

    本文实例讲述了C# Socket网络编程技巧.分享给大家供大家参考.具体分析如下: 客户端要连接服务器:首先要知道服务器的IP地址.而服务器里有很多的应用程序,每一个应用程序对应一个端口号 所以客户端想要与服务器中的某个应用程序进行通信就必须要知道那个应用程序的所在服务器的IP地址,及应用程序所对应的端口号 TCP协议:安全稳定,一般不会发生数据丢失,但是效率低.利用TCP发生数据一般经过3次握手(所有效率低,自己百度三次握手) UDP协议:快速,效率高,但是不稳定,容易发生数据丢失(没有经过三

  • 详解C# 网络编程系列:实现类似QQ的即时通信程序

    引言: 前面专题中介绍了UDP.TCP和P2P编程,并且通过一些小的示例来让大家更好的理解它们的工作原理以及怎样.Net类库去实现它们的.为了让大家更好的理解我们平常中常见的软件QQ的工作原理,所以在本专题中将利用前面专题介绍的知识来实现一个类似QQ的聊天程序.  一.即时通信系统 在我们的生活中经常使用即时通信的软件,我们经常接触到的有:QQ.阿里旺旺.MSN等等.这些都是属于即时通信(Instant Messenger,IM)软件,IM是指所有能够即时发送和接收互联网消息的软件. 在前面专题

  • 浅谈C#网络编程详解篇

    阅读目录: 基础 Socket编程 多线程并发 阻塞式同步IO 基础 在现今软件开发中,网络编程是非常重要的一部分,本文简要介绍下网络编程的概念和实践. Socket是一种网络编程接口,它是对传输层TCP.UDP通信协议的一层封装,通过友好的API暴露出去,方便在进程或多台机器间进行网络通信. Socket编程 在网络编程中分客户端和服务端两种角色,比如通过打开浏览器访问到挂在Web软件上的网页,从程序角度上来看,即客户端(浏览器)发起了一个Socket请求到服务器端,服务器把网页内容返回到浏览

  • 深入学习C#网络编程之HTTP应用编程(下)

    第三篇来的好晚啊,上一篇说了如何向服务器推送信息,这一篇我们看看如何"快好准"的从服务器下拉信息. 网络上有很多大资源文件,比如供人下载的zip包,电影(你懂的),那么我们如何快速的进行下载,大家第一反应肯定就是多线程下载, 那么这些东西是如何做的呢?首先我们可以从"QQ的中转站里面拉一个rar下来". 然后用fiddler监视一下,我们会发现一个有趣的现象: 第一:7.62*1024*1024≈7990914  千真万确是此文件 第二:我明明是一个http链接,t

  • Java网络编程之TCP通信完整代码示例

    一.概述 Socket类是Java执行客户端TCP操作的基础类,这个类本身使用代码通过主机操作系统的本地TCP栈进行通信.Socket类的方法会建立和销毁连接,设置各种Socket选项. ServerSocket类是Java执行服务器端操作的基础类,该类运行于服务器,监听入站TCP连接,每个socket服务器监听服务器的某个端口,当远程主机的客户端尝试连接此端口时,服务器就被唤醒,并返回一个表示两台主机之间socket的正常Socket对象. 二.什么是TCP? TCP是一种面向连接的.可靠的.

  • Python网络编程之TCP套接字简单用法示例

    本文实例讲述了Python网络编程之TCP套接字简单用法.分享给大家供大家参考,具体如下: 上学期学的计算机网络,因为之前还未学习python,而java则一知半解,C写起来又麻烦,所以一直都没有真正实现过TCP套接字编程. 最近学习了python,而用它来写套接字又十分方便简单,所以当然要试一试咯. 下面根据代码来介绍一下最简单的tcp程序,由客户端输入数据,发送给服务器,服务器加上时间后返回给客户端 #!/usr/bin/python 'test TCP server' from socke

  • Java 网络编程之 TCP 实现简单的聊天系统

    客户端 1.连接服务器 Socket 2.发送消息 package lesson02; import java.io.IOException; import java.io.OutputStream; import java.net.InetAddress; import java.net.Socket; /** * 客户端 */ public class TcpClientDemo1 { public static void main(String[] args) { Socket socke

  • C#网络编程之Socket编程

    目录 一:什么是SOCKET 套接字分类 二:SOCKET相关概念 1.端口 2.协议 2.1 TCP: 2.2 UDP 三:socket一般应用模式: 四:SOCKET通信基本流程图: 服务器端: 客户端: 五:示例程序 一:什么是SOCKET socket的英文原义是“孔”或“插座”.作为进程通信机制,取后一种意思.通常也称作“套接字”,用于描述IP地址和端口,是一个通信链的句柄(其实就是两个程序通信用的).socket非常类似于电话插座.以一个电话网为例:电话的通话双方相当于相互通信的2个

  • Python网络编程之HTTP客户端模块urllib与urllib3

    一.urllib 概述: urllib是Python中请求url连接的官方标准库,就是你安装了python,这个库就已经可以直接使用了,基本上涵盖了基础的网络请求功能.在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. Python3.x中将urllib2合并到了urllib,之后此包分成了以下四个模块: urllib.request: 它是最基本的http请求模块,用来模拟发送请求 urllib.error: 异常处理模块,如果出现错误可以捕获这些异

  • Python网络编程之socket与socketserver

    目录 一.基于TCP协议的socket套接字编程 1.套接字工作流程 1. 服务端套接字函数 2. 客户端套接字函数 3. 公共用途的套接字函数 4. 面向锁的套接字方法 5. 面向文件的套接字的函数 2.基于TCP协议的套接字编程 1. 服务端 2. 客户端 3.地址占用问题 1. 方法一:加入一条socket配置,重用ip和端口 2. 方法二:通过调整linux内核参数 4.模拟ssh远程执行命令 5.粘包 1.发送端需要等缓冲区满才发送出去,造成粘包 2.接收方不及时接收缓冲区的包,造成多

  • Python网络编程之xmlrpc模块

    简介 rpc:远程过程调用协议.简单的来说就是客户端可以很方便得远程调用服务端的接口程序,而不用管底层是如何实现的. XML-RPC的全称是XML Remote Procedure Call,即XML(标准通用标记语言下的一个子集)远程过程调用.它是一套允许运行在不同操作系统.不同环境的程序实现基于Internet过程调用的规范和一系列的实现.这种远程过程调用使用http作为传输协议,XML作为传送信息的编码格式.Xml-Rpc的定义尽可能的保持了简单,但同时能够传送.处理.返回复杂的数据结构.

  • Python网络编程之ftplib模块

    Python中默认安装的ftplib模块定义了FTP类,可用来实现简单的ftp客户端,用于上传或下载文件. ftp登陆连接 from ftplib import FTP # 加载ftp模块 ftp = FTP() # 设置变量 ftp.set_debuglevel(2) # 打开调试级别2,显示详细信息 ftp.connect("10.126.64.14", 21) # 连接的ftp sever和端口 ftp.login("usr_esop", "PWD4

随机推荐