用Java实现HTTP文件队列下载

  序言

  许多用户可能会遇到这样的情况:在网站上发现一个很好的资源,但是这个资源是分成了很多个文件存放的,如果想把它保存到本地,只有靠用户点击另存来完成保存,如果资源分了几百甚至上千上万,那简直是个灾难。

  在Internet上很多的资源分成多个文件存放时,它的文件命名是有一定的规则的;正因如此,我们就可以用程序来完成这个资源的完全下载。

  1. 基础知识

  在Internet上,我们要下载网站上的某个资源,我们会获得一个URL(Uniform Resource Locator),它是一个服务器资源定位的描述,下载的过程总是如下步骤:

  • 步骤1:客户端发起连接请求一个URL
  • 步骤2:服务器解析URL,并将指定的资源返回一个输入流给客户
  • 步骤3:客户端接收输入流,将流中的内容存到文件
  2. 网络连接的建立

  Java提供了对URL访问和大量的流操作的的API,我们可以很容易的完成对网络上资源的存取,下面的代码段就完成了对一个网站的资源进行访问:

......
destUrl="http://www.ebook.com/java/网络编程001.zip";
url = new URL(destUrl); httpUrl = (HttpURLConnection) url.openConnection();
//连接指定的网络资源
httpUrl.connect();
//获取网络输入流
bis = new BufferedInputStream(httpUrl.getInputStream());
......

  3. 代理的访问

  Java 中通过代理服务器访问外网的方法已经是世人皆知的秘密了。这里就不再多描述了,访问的Java代码如下:

//设置代理服务器
System.getProperties().put("proxySet", "true");
System.getProperties().put("proxyHost", "10.154.134.110");
System.getProperties().put("proxyPort", "8080");

  4. 网络资源的保存

  在上节中,我们已经获取了指定网络资源的输入流,接下来我们要完成的就是读取输入流中的所以内容,并将其保存在文件中。 示例代码:

......
fos = new FileOutputStream(fileName);
if (this.DEBUG)
 System.out.println("正在获取链接[" + destUrl + "]的内容...\n将其保存为文件[" + fileName +"]");
//保存文件
while ( (size = bis.read(buf)) != -1)
 fos.write(buf, 0, size); ......

  上面的示例代码就将网络资源的内容保存到了本地指定的文件中。

  5. 代码清单

import java.io.*;import java.net.*;import java.util.*;/** * <p>Title: 个人开发的API</p> * <p>Description: 将指定的HTTP网络资源在本地以文件形式存放</p> * <p>Copyright: Copyright (c) 2004</p> * <p>Company: NewSky</p> * @author MagicLiao * @version 1.0 */public class HttpGet {  public final static boolean DEBUG = true;//调试用  private static int BUFFER_SIZE = 8096;//缓冲区大小  private Vector vDownLoad = new Vector();//URL列表  private Vector vFileList = new Vector();//下载后的保存文件名列表  /**   * 构造方法   */  public HttpGet() {  }  /**   * 清除下载列表   */  public void resetList() {    vDownLoad.clear();    vFileList.clear();  }  /**   * 增加下载列表项   *   * @param url String   * @param filename String   */  public void addItem(String url, String filename) {    vDownLoad.add(url);    vFileList.add(filename);  }  /**   * 根据列表下载资源   */  public void downLoadByList() {    String url = null;    String filename = null;        //按列表顺序保存资源    for (int i = 0; i < vDownLoad.size(); i++) {      url = (String) vDownLoad.get(i);      filename = (String) vFileList.get(i);      try {        saveToFile(url, filename);      }      catch (IOException err) {        if (DEBUG) {          System.out.println("资源[" + url + "]下载失败!!!");        }      }    }    if (DEBUG) {      System.out.println("下载完成!!!");    }  }  /**   * 将HTTP资源另存为文件   *   * @param destUrl String   * @param fileName String   * @throws Exception   */  public void saveToFile(String destUrl, String fileName) throws IOException {    FileOutputStream fos = null;    BufferedInputStream bis = null;    HttpURLConnection httpUrl = null;    URL url = null;    byte[] buf = new byte[BUFFER_SIZE];    int size = 0;        //建立链接    url = new URL(destUrl);    httpUrl = (HttpURLConnection) url.openConnection();    //连接指定的资源    httpUrl.connect();    //获取网络输入流    bis = new BufferedInputStream(httpUrl.getInputStream());    //建立文件    fos = new FileOutputStream(fileName);    if (this.DEBUG) System.out.println("正在获取链接[" + destUrl + "]的内容...\n将其保存为文件[" + fileName + "]");    //保存文件    while ( (size = bis.read(buf)) != -1)       fos.write(buf, 0, size);        fos.close();    bis.close();    httpUrl.disconnect();  }  /**   * 设置代理服务器   *   * @param proxy String   * @param proxyPort String   */  public void setProxyServer(String proxy, String proxyPort) {    //设置代理服务器    System.getProperties().put("proxySet", "true");    System.getProperties().put("proxyHost", proxy);    System.getProperties().put("proxyPort", proxyPort);  }  /**   * 设置认证用户名与密码   *   * @param uid String   * @param pwd String   */  public void setAuthenticator(String uid, String pwd) {    Authenticator.setDefault(new MyAuthenticator(uid, pwd));  }  /**   * 主方法(用于测试)   *   * @param argv String[]   */  public static void main(String argv[]) {    HttpGet oInstance = new HttpGet();try {//增加下载列表(此处用户可以写入自己代码来增加下载列表)oInstance.addItem("http://www.ebook.com/java/网络编程001.zip","./网络编程1.zip");oInstance.addItem("http://www.ebook.com/java/网络编程002.zip","./网络编程2.zip");oInstance.addItem("http://www.ebook.com/java/网络编程003.zip","./网络编程3.zip");oInstance.addItem("http://www.ebook.com/java/网络编程004.zip","./网络编程4.zip");oInstance.addItem("http://www.ebook.com/java/网络编程005.zip","./网络编程5.zip");oInstance.addItem("http://www.ebook.com/java/网络编程006.zip","./网络编程6.zip");oInstance.addItem("http://www.ebook.com/java/网络编程007.zip","./网络编程7.zip");//开始下载oInstance.downLoadByList();    }    catch (Exception err) {      System.out.println(err.getMessage());    }  }}

  下载源代码

(0)

相关推荐

  • 解析Java中的队列和用LinkedList集合模拟队列的方法

    API中对队列的说明: public interface Queue<E> extends Collection<E> 在处理元素前用于保存元素的 collection.除了基本的 Collection 操作外,队列还提供其他的插入.提取和检查操作.每个方法都存在两种形式:一种抛出异常(操作失败时),另一种返回一个特殊值(null 或 false,具体取决于操作).插入操作的后一种形式是用于专门为有容量限制的 Queue 实现设计的:在大多数实现中,插入操作不会失败. 队列通常(但

  • Java中使用阻塞队列控制线程集实例

    队列以一种先进先出的方式管理数据.如果你试图向一个已经满了的阻塞队列中添加一个元素,或是从一个空的阻塞队列中移除一个元素,将导致线程阻塞.在多线程进行合作时,阻塞队列是很有用的工具.工作者线程可以定期的把中间结果存到阻塞队列中.而其他工作者线程把中间结果取出并在将来修改它们.队列会自动平衡负载.如果第一个线程集运行的比第二个慢,则第二个线程集在等待结果时就会阻塞.如果第一个线程集运行的快,那么它将等待第二个线程集赶上来. 下面的程序展示了如何使用阻塞队列来控制线程集.程序在一个目录及它的所有子目

  • java使用数组和链表实现队列示例

    (1)用数组实现的队列: 复制代码 代码如下: //先自己定义一个接口  public interface NetJavaList {    public void add(Student t);    //继承该接口的类必须实现的方法    public Student get(int index);//队列的加入,取出,队列的大小    public int size(); } 定义一个学生类 复制代码 代码如下: class Student {      private String na

  • Java中管理资源的引用队列相关原理解析

    当对象改变其可达性状态时,对该对象的引用就可能会被置于引用队列(reference queue)中.这些队列被垃圾回收器用来与我们的代码沟通有关对象可达性变化的情况.这些队列是探测可达性变化的最佳方式,尽管我们也可以通过检查get方法的返回值是不是null来探测对象的可达性变化. 引用对象在构造时可以与特定队列建立关联.Reference的每一个子类都提供了如下形式的构造器: .public Strength Reference (T referent, ReferenceQueueq):该方法

  • java结合WebSphere MQ实现接收队列文件功能

    首先我们先来简单介绍下websphere mq以及安装使用简介 websphere mq  : 用于传输信息 具有跨平台的功能. 1 安装websphere mq 并启动 2 websphere mq 建立 queue Manager (如:MQSI_SAMPLE_QM) 3 建立queue 类型选择 Local类型 的 (如lq  ) 4 建立channels 类型选择Server Connection (如BridgeChannel) 接下来,我们来看实例代码: MQFileReceiver

  • Java实现栈和队列面试题

    面试的时候,栈和队列经常会成对出现来考察.本文包含栈和队列的如下考试内容: (1)栈的创建 (2)队列的创建 (3)两个栈实现一个队列 (4)两个队列实现一个栈 (5)设计含最小函数min()的栈,要求min.push.pop.的时间复杂度都是O(1) (6)判断栈的push和pop序列是否一致 1.栈的创建: 我们接下来通过链表的形式来创建栈,方便扩充. 代码实现: public class Stack { public Node head; public Node current; //方法

  • Java数组模拟优先级队列数据结构的实例

    优先级队列 如果我们给每个元素都分配一个数字来标记其优先级,不妨设较小的数字具有较高的优先级,这样我们就可以在一个集合中访问优先级最高的元素并对其进行查找和删除操作了.这样,我们就引入了优先级队列 这种数据结构. 优先级队列(priority queue) 是0个或多个元素的集合,每个元素都有一个优先权,对优先级队列执行的操作有(1)查找(2)插入一个新元素 (3)删除 一般情况下,查找操作用来搜索优先权最大的元素,删除操作用来删除该元素 .对于优先权相同的元素,可按先进先出次序处理或按任意优先

  • 解析Java中PriorityQueue优先级队列结构的源码及用法

    一.PriorityQueue的数据结构 JDK7中PriorityQueue(优先级队列)的数据结构是二叉堆.准确的说是一个最小堆. 二叉堆是一个特殊的堆, 它近似完全二叉树.二叉堆满足特性:父节点的键值总是保持固定的序关系于任何一个子节点的键值,且每个节点的左子树和右子树都是一个二叉堆. 当父节点的键值总是大于或等于任何一个子节点的键值时为最大堆. 当父节点的键值总是小于或等于任何一个子节点的键值时为最小堆. 下图是一个最大堆 priorityQueue队头就是给定顺序的最小元素. prio

  • Java模拟栈和队列数据结构的基本示例讲解

    栈和队列: 一般是作为程序员的工具,用于辅助构思算法,生命周期较短,运行时才被创建: 访问受限,在特定时刻,只有一个数据可被读取或删除: 是一种抽象的结构,内部的实现机制,对用户不可见,比如用数组.链表来实现栈. 模拟栈结构 同时,只允许一个数据被访问,后进先出 对于入栈和出栈的时间复杂度都为O(1),即不依赖栈内数据项的个数,操作比较快 例,使用数组作为栈的存储结构 public class StackS<T> { private int max; private T[] ary; priv

  • Java并发编程之阻塞队列详解

    1.什么是阻塞队列? 队列是一种数据结构,它有两个基本操作:在队列尾部加入一个元素,从队列头部移除一个元素.阻塞队里与普通的队列的区别在于,普通队列不会对当前线程产生阻塞,在面对类似消费者-生产者模型时,就必须额外的实现同步策略以及线程间唤醒策略.使用阻塞队列,就会对当前线程产生阻塞,当队列是空时,从队列中获取元素的操作将会被阻塞,当队列是满时,往队列里添加元素的操作也会被阻塞. 2.主要的阻塞队列及其方法 java.util.concurrent包下提供主要的几种阻塞队列,主要有以下几个: 1

  • 深入理解Java线程编程中的阻塞队列容器

    1. 什么是阻塞队列? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列.这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空.当队列满时,存储元素的线程会等待队列可用.阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程.阻塞队列就是生产者存放元素的容器,而消费者也只从容器里拿元素. 阻塞队列提供了四种处理方法: 抛出异常:是指当阻塞队列满时候,再往队列里插入元素,会抛出IllegalStateException("Q

  • 剖析Java中阻塞队列的实现原理及应用场景

    我们平时使用的一些常见队列都是非阻塞队列,比如PriorityQueue.LinkedList(LinkedList是双向链表,它实现了Dequeue接口). 使用非阻塞队列的时候有一个很大问题就是:它不会对当前线程产生阻塞,那么在面对类似消费者-生产者的模型时,就必须额外地实现同步策略以及线程间唤醒策略,这个实现起来就非常麻烦.但是有了阻塞队列就不一样了,它会对当前线程产生阻塞,比如一个线程从一个空的阻塞队列中取元素,此时线程会被阻塞直到阻塞队列中有了元素.当队列中有元素后,被阻塞的线程会自动

随机推荐