Java实现多线程下载和断点续传

java的多线程下载能够明显提升下载的速度,平时我们用的迅雷软件之所以能够下载那么快,就是使用了多线程;当用户在下载的过程中,有断电或断网的可能,当用户再次点击下载时,应该让用户接着原来的进度进行下载,这可以节约用户的流量,所以要用到断点续传的功能。下面是通过Java代码实现多线程下载和断点续传的详细代码。

1、创建一个类,用于文件的下载

package com.edu.thread;
 
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
 
public class MultiDownload2 {
    static String path = "http://localhost:8080/wlan.zip";
    //开启线程的数量
    static int threadCount = 6;
    //下载结束的线程数
    static int threadFinished = 0;
    public static void main(String[] args) {
    try {
        URL url = new URL(path);
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod("GET");
        conn.setConnectTimeout(5000);
        conn.setReadTimeout(5000);
        //此时只是确定和服务器建立了连接,但并没有开始下载任务
        if (conn.getResponseCode()==200) {
            //拿到文件的长度
            int length = conn.getContentLength();
            //指定文件路径和文件名
            File file = new File("d://文件测试", getFileName(path));
            //创建随机存储文件大小,为了建立一个和源文件大小相同的存储区间
            RandomAccessFile raf = new RandomAccessFile(file, "rwd");
            //设置临时文件的大小,和服务器文件一模一样
            raf.setLength(length);
            //计算每个线程下载的字节数
            int size = length / threadCount;
            //计算三个线程下载的开始位置和结束位置
            for (int i = 0; i < threadCount; i++) {
                int startIndex = i * size;
                int endIndex = (i + 1) * size-1;
                //如果是最后一个线程,要把结尾读完
                if (i == threadCount-1) {
                    //length从0开始读,所以length-1表示最后一个字节
                    endIndex = length-1;
                }
                //打印三个线程的开始与结束位置
                System.out.println("线程"+i+"的开始和结束位置:"+startIndex+"----"+endIndex);
                //开启线程,传入线程ID,下载的开始位置和下载的结束位置
                new DownloadThread(i, startIndex, endIndex).start();;
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    /*
    * 获取文件名
    */
    public static String getFileName(String path){
        int index=path.lastIndexOf("/");
        return path.substring(index + 1);
    }
}

2、创建另一个类,用于开启子线程

package com.edu.thread;
 
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
//新开启一个线程,用于完成下载任务
class DownloadThread extends Thread{
 
    int thredId;
    int startIndex;
    int endIndex;
    
    public DownloadThread(int thredId, int startIndex, int endIndex) {
        super();
        this.thredId = thredId;
        this.startIndex = startIndex;
        this.endIndex = endIndex;
    }
    
    public void run() {
        try {
        //下载进度文件保存的路径和文件名
        File progressFile = new File("d://文件测试",(thredId + ".txt"));
        //判断保存下载进度的临时文件是否存在,以便确定下载的开始位置
        if (progressFile.exists()) {
            FileInputStream fis = new FileInputStream(progressFile);
            BufferedReader bReader = new BufferedReader(new InputStreamReader(fis));
            //拿到临时文件中保存的数据,并把此数据设置为新的开始位置
            int text = Integer.parseInt(bReader.readLine());
            startIndex = text;
            fis.close();
            }
            System.out.println("线程"+thredId+"的最终开始下载位置是:"+startIndex);
            
            URL url = new URL(MultiDownload2.path);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("GET");
            conn.setConnectTimeout(5000);
            conn.setReadTimeout(5000);
            //设置请求数据的范围
            conn.setRequestProperty("Range", "bytes="+startIndex+"-"+endIndex);
            //建立连接,状态码206表示请求部分数据成功,此时开始下载任务
            if (conn.getResponseCode()==206) {
                InputStream is = conn.getInputStream();
                //指定文件名和文件路径
                File file = new File(MultiDownload2.getFileName(MultiDownload2.path) );
                int len = 0;
                byte [] b = new byte[1024];
                //三个线程各自创建自己的随机存储文件
                RandomAccessFile raf = new RandomAccessFile(file, "rwd");
                //设置数据从哪个位置开始写入数据到临时文件
                raf.seek(startIndex);
                //设置当前线程下载的总字节数
                int total = 0;
                long start = System.currentTimeMillis();
                
                //当下载意外停止时,记录当前下载进度
                int currentPosition = startIndex;
                
                while ((len=is.read(b))!=-1) {
                    raf.write(b,0,len);
                    //打印当前线程下载的总字节数
                    total += len;
                    /**
                    * 实现断点续传的功能
                    */
                    //RandomAccessFile主要用来存放下载的临时文件,可以用FileOutputStream代替
                    RandomAccessFile rafProgress = new RandomAccessFile(progressFile, "rwd");
                    //再次下载时的开始位置
                    currentPosition = startIndex + total;
                    //把下载进度写进rafProgress临时文件,下一次下载时,就以这个值作为新的startIndex
                    rafProgress.write((currentPosition + "").getBytes());
                    //关流
                    rafProgress.close();
                    System.out.println("线程"+thredId+"已经下载了"+total);
                }
                raf.close();
                long end = System.currentTimeMillis();
                //打印线程下载文件用时
                System.out.println("线程"+thredId+"下载文件用时"+(end-start)+"ms");
                //打印线程的结束
                System.out.println("线程:"+thredId+" 下载结束了 !!!");
                //下载结束后,删除所有的临时文件
                MultiDownload2.threadFinished ++;
                //使用同步语句块,保证线程的安全性
                synchronized (MultiDownload2.path) {
                //如果这个条件成立,说明所有的线程下载结束
                if (MultiDownload2.threadFinished == MultiDownload2.threadCount) {
                    for (int i = 0; i < MultiDownload2.threadCount; i++) {
                        //删除三个线程产生的临时文件
                        File temp = new File("d://文件测试", i + ".txt");
                        temp.delete();
                    }
                    //保证三个线程的临时文件同时被删除
                    MultiDownload2.threadFinished = 0;
                    }
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • java实现文件断点续传下载功能

    本文实例为大家分享了java断点续传下载的代码,供大家参考,具体内容如下 1. Java代码     //实现文件下载功能 public String downloadFile(){ File dir = new File(filepath);//获取文件路劲 if(!dir.exists()) { System.out.println("文件路径错误"); log.debug("文件路径错误"); return "failed";// 判断文件

  • 基于Java实现多线程下载并允许断点续传

    完整代码:https://github.com/iyuanyb/Downloader 多线程下载及断点续传的实现是使用 HTTP/1.1 引入的 Range 请求参数,可以访问Web资源的指定区间的内容.虽然实现了多线程及断点续传,但还有很多不完善的地方. 包含四个类: Downloader: 主类,负责分配任务给各个子线程,及检测进度DownloadFile: 表示要下载的哪个文件,为了能写输入到文件的指定位置,使用 RandomAccessFile 类操作文件,多个线程写同一个文件需要保证线

  • 命令行使用支持断点续传的java多线程下载器

    复制代码 代码如下: package org.load.download; import java.io.File;import java.io.IOException;import java.io.InputStream;import java.io.RandomAccessFile;import java.text.DecimalFormat; import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;impo

  • RxJava+Retrofit+OkHttp实现多文件下载之断点续传

    背景 断点续传下载一直是移动开发中必不可少的一项重要的技术,同样的Rxjava和Retrofit的结合让这个技术解决起来更加的灵活,我们完全可以封装一个适合自的下载框架,简单而且安全! 效果 实现 下载和之前的http请求可以相互独立,所以我们单独给download建立一个工程moudel处理 1.创建service接口 和以前一样,先写接口 注意:Streaming是判断是否写入内存的标示,如果小文件可以考虑不写,一般情况必须写:下载地址需要通过@url动态指定(不适固定的),@head标签是

  • 基于Ok+Rxjava实现断点续传下载

    本文为大家分享了实现断点续传下载的具体代码,供大家参考,具体内容如下 1.基于Ok+Rxjava实现断点续传下载 2.基于Ok+Rxjava+Retrofit实现断点续传下载 最近总结一下了一下之前学过以及用到过得功能,整理了一个基于Ok+Rxjava实现断点续传下载的demo.下面先给大家展示一下使用效果吧. 说下我的大致思路吧:根据文件下载url按照自己定义的规则生成文件名,判断本地同路径下是否存在此文件,如果存在,文件大小与服务器上获取的文件大小一致的情况下,则生成新的文件名重新下载:如果

  • 基于Ok+Rxjava+retrofit实现断点续传下载

    本文为大家分享了实现断点续传下载的具体代码,供大家参考,具体内容如下 1.基于Ok+Rxjava实现断点续传下载 2.基于Ok+Rxjava+Retrofit实现断点续传下载 上一篇博客中介绍了基于Ok+Rxjava实现断点续传下载,这一篇给大家介绍下基于Ok+Rxjava+Retrofit实现断点续传下载,demo下载地址,效果图跟上一篇图片一样,哈哈 说下我的大致思路吧(跟上一篇略有不同):根据文件下载url按照自己定义的规则生成文件名,判断本地同路径下是否存在此文件,如果存在,文件大小与服

  • Java实现多线程下载和断点续传

    java的多线程下载能够明显提升下载的速度,平时我们用的迅雷软件之所以能够下载那么快,就是使用了多线程:当用户在下载的过程中,有断电或断网的可能,当用户再次点击下载时,应该让用户接着原来的进度进行下载,这可以节约用户的流量,所以要用到断点续传的功能.下面是通过Java代码实现多线程下载和断点续传的详细代码. 1.创建一个类,用于文件的下载 package com.edu.thread;   import java.io.BufferedReader; import java.io.File; i

  • Java中多线程下载图片并压缩能提高效率吗

    目录 前言 实现思路 实测 前言 需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹. 这里只做4.5.得代码讲解描述,其它也没什么好说得,话不多说上代码. 实现思路 多线程实现使用了线程池,Jdk1.8并发包下的CompletableFuture 第一步:得到基础数值 // 线程数 Integer threadNum = 10; // 每条线程需要处理的图片数 int dataNum = imageInfoV

  • java实现多线程文件的断点续传

    java文件的多线程断点续传大致原理,供大家参考,具体内容如下 谈到文件断点续传那么就离不开java.io.RandomAcessFile HttpUrlConnection类 大致思路如下: 1 HttpUrlConnection去请求服务器 获得文件的长度con.getContentLength()2 创建一个空的RandomAcessFile来接收,并且指定刚刚获取的长度setLength3开启N个线程 计算每个线程需要下载的长度4获取之前先去看看下载的进度保存文件是否存在 如果存在就从文

  • android实现多线程下载文件(支持暂停、取消、断点续传)

    多线程下载文件(支持暂停.取消.断点续传) 多线程同时下载文件即:在同一时间内通过多个线程对同一个请求地址发起多个请求,将需要下载的数据分割成多个部分,同时下载,每个线程只负责下载其中的一部分,最后将每一个线程下载的部分组装起来即可. 涉及的知识及问题 请求的数据如何分段 分段完成后如何下载和下载完成后如何组装到一起 暂停下载和继续下载的实现(wait().notifyAll().synchronized的使用) 取消下载和断点续传的实现 一.请求的数据如何分段 首先通过HttpURLConne

  • Java多线程下载文件实例详解

    本文实例为大家分享了Java多线程下载文件的具体代码,供大家参考,具体内容如下 import java.io.File; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; public class MulThreadDownload { public static void main(String[] args)

  • java多线程下载实例详解

    本文实例讲述了java多线程下载.分享给大家供大家参考,具体如下: 使用多线程下载文件可以更快完成文件的下载,多线程下载文件之所以快,是因为其抢占的服务器资源多.如:假设服务器同时最多服务100个用户,在服务器中一条线程对应一个用户,100条线程在计算机中并非并发执行,而是由CPU划分时间片轮流执行,如果A应用使用了99条线程下载文件,那么相当于占用了99个用户的资源,假设一秒内CPU分配给每条线程的平均执行时间是10ms,A应用在服务器中一秒内就得到了990ms的执行时间,而其他应用在一秒内只

  • Java多线程下载的实现方法

    复制代码 代码如下: package cn.me.test; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; /** * 多线程下载 * 1:使用RandomAccessFile在任意的位置写入数据. * 2:需要计算第一个线程下载的数据量,可以平均分配.如果不够平均时, *    则直接最后一个线程处理相对较少

  • C#实现支持断点续传多线程下载客户端工具类

    复制代码 代码如下: /* .Net/C#: 实现支持断点续传多线程下载的 Http Web 客户端工具类 (C# DIY HttpWebClient) * Reflector 了一下 System.Net.WebClient ,改写或增加了若干: * DownLoad.Upload 相关方法! * DownLoad 相关改动较大! * 增加了 DataReceive.ExceptionOccurrs 事件! * 了解服务器端与客户端交互的 HTTP 协议参阅: * 使文件下载的自定义连接支持

  • PC版与Android手机版带断点续传的多线程下载

    一.多线程下载 多线程下载就是抢占服务器资源 原理:服务器CPU 分配给每条线程的时间片相同,服务器带宽平均分配给每条线程,所以客户端开启的线程越多,就能抢占到更多的服务器资源. 1.设置开启线程数,发送http请求到下载地址,获取下载文件的总长度           然后创建一个长度一致的临时文件,避免下载到一半存储空间不够了,并计算每个线程下载多少数据              2.计算每个线程下载数据的开始和结束位置           再次发送请求,用 Range 头请求开始位置和结束位

随机推荐