Android线程池控制并发数多线程下载

多线程下载并不是并发下载线程越多越好,因为当用户开启太多的并发线程之后,应用程序需要维护每条线程的开销,线程同步的开销。

这些开销反而会导致下载速度降低。因此需要避免在代码中直接开启大量线程执行下载。

主要实现步奏:

1、定义一个DownUtil类,下载工作基本在此类完成,在构造器中初始化UI线程的Handler。用于子线程和UI线程传递下载进度值。

2、所有的下载任务都保存在LinkedList。在init()方法中开启一个后台线程,不断地从LinkedList中取任务交给线程池中的空闲线程执行。

3、每当addTask方法添加一个任务,就向 mPoolThreadHandler发送条消息,就从任务队列中取出一个任务交给线程池执行。这里使用了使用了Semaphore信号量,也就是说只有当一个任务执行完成之后,release()一个信号量,才能从LinkedList中取出一个任务再去执行,否则acquire()方法会一直阻塞线程,直到上一个任务完成。

public class DownUtil
{
 //定义下载资源的路径
 private String path;
 //指定下载文件的保存位置
 private String targetFile;
 //定义下载文件的总大小
 private int fileSize;

 //线程池
 private ExecutorService mThreadPool;
 //线程数量
 private static final int DEFAULT_THREAD_COUNT = 5;
 //任务队列
 private LinkedList<Runnable> mTasks;

 //后台轮询线程
 private Thread mPoolThread;
 //后台线程的handler
 private Handler mPoolThreadHandler;
 //UI线程的Handler
 private Handler mUIThreadHandler;
 //信号量
 private Semaphore semaphore;
 private Semaphore mHandlerSemaphore = new Semaphore(0);
 //下载线程数量
 private int threadNum;

 public DownUtil(String path , String targetFile , int threadNum , final ProgressBar bar)
 {
  this.path = path;
  this.targetFile = targetFile;
  this.threadNum = threadNum;
  init();

  mUIThreadHandler = new Handler()
  {
   int sumSize = 0;
   @Override
   public void handleMessage(Message msg)
   {
    if (msg.what == 0x123)
    {
     int size = msg.getData().getInt("upper");
     sumSize += size;
     Log.d("sumSize" , sumSize + "");
     bar.setProgress((int) (sumSize * 1.0 / fileSize * 100));
    }
   }
  };
 }

 private void init()
 {
  mPoolThread = new Thread()
  {
   public void run()
   {
    Looper.prepare();
    mPoolThreadHandler = new Handler()
    {
     public void handleMessage(Message msg)
     {
      if (msg.what == 0x111)
      {
       mThreadPool.execute(getTask());
       try
       {
        semaphore.acquire();
       }
       catch (InterruptedException e)
       {
        e.printStackTrace();
       }
      }
     }
    };
    mHandlerSemaphore.release();
    Looper.loop();
   }
  };
  mPoolThread.start();

  mThreadPool = Executors.newFixedThreadPool(DEFAULT_THREAD_COUNT);
  mTasks = new LinkedList<>();
  semaphore = new Semaphore(DEFAULT_THREAD_COUNT);
 }

 public void downLoad()
 {

  try {
   URL url = new URL(path);
   HttpURLConnection conn = (HttpURLConnection) url.openConnection();
   conn.setConnectTimeout(5 * 1000);
   conn.setRequestMethod("GET");
   conn.setRequestProperty(
     "Accept",
     "image/gif, image/jpeg, image/pjpeg, image/pjpeg, "
       + "application/x-shockwave-flash, application/xaml+xml, "
       + "application/vnd.ms-xpsdocument, application/x-ms-xbap, "
       + "application/x-ms-application, application/vnd.ms-excel, "
       + "application/vnd.ms-powerpoint, application/msword, */*");
   conn.setRequestProperty("Accept-Language", "zh-CN");
   conn.setRequestProperty("Charset", "UTF-8");
   conn.setRequestProperty("Connection", "Keep-Alive");

   //得到文件的大小
   fileSize = conn.getContentLength();
   conn.disconnect();

   int currentPartSize = fileSize / threadNum + 1;
   RandomAccessFile file = new RandomAccessFile(targetFile , "rw");
   file.setLength(fileSize);
   file.close();

   for (int i = 0 ; i < threadNum ; i++)
   {
    //计算每条线程下载的开始位置
    int startPos = i * currentPartSize;
    //每条线程使用一个RandomAccessFile进行下载
    RandomAccessFile currentPart = new RandomAccessFile(targetFile , "rw");
    //定位该线程的下载位置
    currentPart.seek(startPos);

    //将任务添加到任务队列中
    addTask(new DownThread(startPos , currentPartSize , currentPart));
   }
  }
  catch (IOException e)
  {
   e.printStackTrace();
  }
 }

 private Runnable getTask()
 {
  if (!mTasks.isEmpty())
  {
   return mTasks.removeFirst();
  }
  return null;
 }

 private synchronized void addTask(Runnable task)
 {
  mTasks.add(task);
  try
  {
   if (mPoolThreadHandler == null)
   {
    mHandlerSemaphore.acquire();
   }
  }
  catch (InterruptedException e)
  {
   e.printStackTrace();
  }
  mPoolThreadHandler.sendEmptyMessage(0x111);
 }

 private class DownThread implements Runnable
 {
  //当前线程的下载位置
  private int startPos;
  //定义当前线程负责下载的文件大小
  private int currentPartSize;
  //当前线程需要下载的文件块
  private RandomAccessFile currentPart;
  //定义该线程已经下载的字节数
  private int length;

  public DownThread(int startPos , int currentPartSize , RandomAccessFile currentPart)
  {
   this.startPos = startPos;
   this.currentPartSize = currentPartSize;
   this.currentPart = currentPart;
  }

  @Override
  public void run()
  {
   try
   {
    URL url = new URL(path);
    HttpURLConnection conn = (HttpURLConnection) url.openConnection();
    conn.setConnectTimeout(5 * 1000);
    conn.setRequestMethod("GET");
    conn.setRequestProperty(
      "Accept",
      "image/gif, image/jpeg, image/pjpeg, image/pjpeg, "
        + "application/x-shockwave-flash, application/xaml+xml, "
        + "application/vnd.ms-xpsdocument, application/x-ms-xbap, "
        + "application/x-ms-application, application/vnd.ms-excel, "
        + "application/vnd.ms-powerpoint, application/msword, */*");
    conn.setRequestProperty("Accept-Language", "zh-CN");
    conn.setRequestProperty("Charset", "UTF-8");
    conn.setRequestProperty("Connection", "Keep-Alive");

    InputStream inStream = conn.getInputStream();
    //跳过startPos个字节
    skipFully(inStream , this.startPos);

    byte[] buffer = new byte[1024];
    int hasRead = 0;
    while (length < currentPartSize && (hasRead = inStream.read(buffer)) > 0)
    {
     currentPart.write(buffer , 0 , hasRead);
     //累计该线程下载的总大小
     length += hasRead;
    }

    Log.d("length" , length + "");

    //创建消息
    Message msg = new Message();
    msg.what = 0x123;
    Bundle bundle = new Bundle();
    bundle.putInt("upper" , length);
    msg.setData(bundle);
    //向UI线程发送消息
    mUIThreadHandler.sendMessage(msg);

    semaphore.release();
    currentPart.close();
    inStream.close();
   }
   catch (Exception e)
   {
    e.printStackTrace();
   }
  }
 }

 public static void skipFully(InputStream in , long bytes) throws IOException
 {
  long remaining = bytes;
  long len = 0;
  while (remaining > 0)
  {
   len = in.skip(remaining);
   remaining -= len;
  }
 }
}

以下是MainActivity的代码:

public class MainActivity extends Activity
{
 EditText url;
 EditText target;
 Button downBn;
 ProgressBar bar;
 DownUtil downUtil;
 private String savePath;

 @Override
 protected void onCreate(Bundle savedInstanceState)
 {
  super.onCreate(savedInstanceState);
  setContentView(R.layout.main);
  //获取界面中的四个界面控件
  url = (EditText) findViewById(R.id.address);
  target = (EditText) findViewById(R.id.target);
  try
  {
   File sdCardDir = Environment.getExternalStorageDirectory();
   savePath = sdCardDir.getCanonicalPath() + "/d.chm";
  }
  catch (Exception e)
  {
   e.printStackTrace();
  }
  target.setText(savePath);
  downBn = (Button) findViewById(R.id.down);
  bar = (ProgressBar) findViewById(R.id.bar);
  downBn.setOnClickListener(new View.OnClickListener()
  {
   @Override
   public void onClick(View view)
   {
    downUtil = new DownUtil(url.getText().toString() , target.getText().toString() , 7 , bar);
    new Thread()
    {
     @Override
     public void run()
     {
      try
      {
       downUtil.downLoad();
      }
      catch (Exception e)
      {
       e.printStackTrace();
      }
     }
    }.start();
   }
  });
 }
}

页面布局比较简单这里一并贴出:

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
 android:layout_width="match_parent"
 android:layout_height="match_parent"
 android:orientation="vertical">

 <TextView
  android:layout_width="match_parent"
  android:layout_height="wrap_content"
  android:text="@string/title1"/>

 <EditText
  android:id="@+id/address"
  android:layout_width="match_parent"
  android:layout_height="wrap_content"
  android:text="@string/address"/>

 <TextView
  android:layout_width="match_parent"
  android:layout_height="wrap_content"
  android:text="@string/targetAddress"/>

 <EditText
  android:id="@+id/target"
  android:layout_width="match_parent"
  android:layout_height="wrap_content"/>

 <Button
  android:id="@+id/down"
  android:layout_width="match_parent"
  android:layout_height="wrap_content"
  android:text="@string/down"/>

 <!-- 定义一个水平进度条,用于显示下载进度 -->
 <ProgressBar
  android:id="@+id/bar"
  android:layout_width="match_parent"
  android:layout_height="wrap_content"
  android:max="100"
  style="?android:attr/progressBarStyleHorizontal"/>

</LinearLayout>

此例主要是在李刚老师的《疯狂Java的讲义》的多线程的例子上修改,感谢李刚老师,如有不足之处,欢迎批评指正。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Android自带的四种线程池使用总结

    在Android开发中,如果我们要执行某个耗时任务,一般都会考虑开启一个线程去处理. 因为我们都知道一个线程run方法执行完毕后,才算真正结束,但是,这只是结束,并没有被回收,会一直闲置在那里,等待GC去回收,所以如果每执行一个任务,我们都new一个线程,那么在某些极端的场景下,是比较消耗内存的. 之前的内存优化的文章中,我讲过关于android中的池的概念,也就是复用的机制,那么对于线程也有个线程池. 这篇文章先简单介绍下Android中自带的四种线程池: 1 .newCachedThread

  • Android之线程池ThreadPoolExecutor的简介

    Android中的线程池ThreadPoolExecutor解决了单线程下载数据的效率慢和线程阻塞的的问题,它的应用也是优化实现的方式.所以它的重要性不言而喻,但是它的复杂性也大,理解上可能会有问题,不过作为安卓工程师,了解这个也是必然的. ThreadPoolExecutor有几个构造函数,最多参数的构造函数最常用,下面会详细介绍各个参数的含义及其几个参数之间的关系: <span style="font-size:18px;">ThreadPoolExecutor(cor

  • 浅谈Android 的线程和线程池的使用

    Android 的线程和线程池 从用途上分,线程分为主线程和子线程:主线程主要处理和界面相关的事情,子线程则往往用于耗时操作. 主线程和子线程 主线程是指进程所拥有的线程.Android 中主线程交 UI 线程,主要作用是运行四大组件以及处理它们和用户的交互:子线程的作业则是执行耗时任务. Android 中的线程形态 1.AsyncTask AsyncTask 是一种轻量级的异步任务类,可以在线程池中执行后台任务,然后把执行的进度和最终结果传递给主线程并在主线程中更新 UI, AsyncTas

  • Android编程自定义线程池与用法示例

    本文实例讲述了Android编程自定义线程池与用法.分享给大家供大家参考,具体如下: 一.概述: 1.因为线程池是固定不变的,所以使用了单例模式 2.定义了两个线程池,长的与短的,分别用于不同的地方.因为使用了单例模式,所以定义两个. 3.定义了两个方法,执行的与取消的 二.代码: /** * @描述 线程管理池 * @项目名称 App_Shop * @包名 com.android.shop.manager * @类名 ThreadManager * @author chenlin * @dat

  • 在Android线程池里运行代码任务实例

    本节展示如何在线程池里执行任务.流程是,添加一个任务到线程池的工作队列,当有线程可用时(执行完其他任务,空闲,或者还没执行任务),ThreadPoolExecutor会从队列里取任务,并在线程里运行. 本课同时向你展示了如何停止正在运行的任务. 在线程池里的线程上执行任务 在ThreadPoolExecutor.execute()里传入 Runnable对象启动任务.这个方法会把任务添加到线程池工作队列.当有空闲线程时,管理器会取出等待最久的任务,在线程上运行. 复制代码 代码如下: publi

  • Android开发经验谈:并发编程(线程与线程池)(推荐)

    一.线程 在Android开发中,你不可能都在主线程中开发,毕竟要联网,下载数据,保存数据等操作,当然这就离不开线程. (当然你可以在Android4.0以前的手机里在主线程请求网络,我最早开发的时候,用的手机比较古老...) 在Android中你可以随意创建线程,于是就会造成线程不可控,内存泄漏,创建线程消耗资源,线程太多了消耗资源等问题. 具体线程怎么创建我就不在文章里描述了,毕竟这主要将并发编程.... 大家知道线程不可控就好了...于是就需要对线程进行控制,防止一系列问题出现,这就用到了

  • 浅谈Android中线程池的管理

    说到线程就要说说线程机制 Handler,Looper,MessageQueue 可以说是三座大山了 Handler Handler 其实就是一个处理者,或者说一个发送者,它会把消息发送给消息队列,也就是Looper,然后在一个无限循环队列中进行取出消息的操作 mMyHandler.sendMessage(mMessage); 这句话就是我耗时操作处理完了,我发送过去了! 然后在接受的地方处理!简单理解是不是很简单. 一般我们在项目中异步操作都是怎么做的呢? // 这里开启一个子线程进行耗时操作

  • 完全解析Android多线程中线程池ThreadPool的原理和使用

    前言对于多线程,大家应该很熟悉.但是,大家了解线程池吗?今天,我将带大家全部学习关于线程池的所有知识. 目录 1. 简介 2. 工作原理 2.1 核心参数线程池中有6个核心参数,具体如下 上述6个参数的配置 决定了 线程池的功能,具体设置时机 = 创建 线程池类对象时 传入 ThreadPoolExecutor类 = 线程池的真正实现类 开发者可根据不同需求 配置核心参数,从而实现自定义线程池 // 创建线程池对象如下 // 通过 构造方法 配置核心参数 Executor executor =

  • Android线程池控制并发数多线程下载

    多线程下载并不是并发下载线程越多越好,因为当用户开启太多的并发线程之后,应用程序需要维护每条线程的开销,线程同步的开销. 这些开销反而会导致下载速度降低.因此需要避免在代码中直接开启大量线程执行下载. 主要实现步奏: 1.定义一个DownUtil类,下载工作基本在此类完成,在构造器中初始化UI线程的Handler.用于子线程和UI线程传递下载进度值. 2.所有的下载任务都保存在LinkedList.在init()方法中开启一个后台线程,不断地从LinkedList中取任务交给线程池中的空闲线程执

  • C#实现控制线程池最大数并发线程

    1. 实验目的: 使用线程池的时候,有时候需要考虑服务器的最大线程数目和程序最快执行所有业务逻辑的取舍. 并非逻辑线程越多也好,而且新的逻辑线程必须会在线程池的等待队列中等待 ,直到线程池中工作的线程执行完毕, 才会有系统线程取出等待队列中的逻辑线程,进行CPU运算. 2.  解决问题: <a>如果不考虑服务器实际可支持的最大并行线程个数,程序不停往线程池申请新的逻辑线程,这个时候我们可以发现CPU的使用率会不断飙升,并且内存.网络带宽占用也会随着逻辑线程在CPU队列中堆积,而不断增大. &l

  • PC版与Android手机版带断点续传的多线程下载

    一.多线程下载 多线程下载就是抢占服务器资源 原理:服务器CPU 分配给每条线程的时间片相同,服务器带宽平均分配给每条线程,所以客户端开启的线程越多,就能抢占到更多的服务器资源. 1.设置开启线程数,发送http请求到下载地址,获取下载文件的总长度           然后创建一个长度一致的临时文件,避免下载到一半存储空间不够了,并计算每个线程下载多少数据              2.计算每个线程下载数据的开始和结束位置           再次发送请求,用 Range 头请求开始位置和结束位

  • python自定义线程池控制线程数量的示例

    1.自定义线程池 import threading import Queue import time queue = Queue.Queue() def put_data_in_queue(): for i in xrange(10): queue.put(i) class MyThread(threading.Thread): def run(self): while not queue.empty(): sleep_times = queue.get() time.sleep(sleep_t

  • Android线程池源码阅读记录介绍

    今天面试被问到线程池如何复用线程的?当场就懵掉了...于是面试完毕就赶紧打开源码看了看,在此记录下: 我们都知道线程池的用法,一般就是先new一个ThreadPoolExecutor对象,再调用execute(Runnable runnable)传入我们的Runnable,剩下的交给线程池处理就行了,于是这次我就从ThreadPoolExecutor的execute方法看起: public void execute(Runnable command) { if (command == null)

  • python 协程并发数控制

    目录 多线程之信号量 协程中使用信号量控制并发 aiohttp 中 TCPConnector 连接池 前言: 本篇博客要采集的站点:[看历史,通天下-历史剧网] 目标数据是该站点下的热门历史事件,列表页分页规则如下所示: http://www.lishiju.net/hotevents/p0 http://www.lishiju.net/hotevents/p1 http://www.lishiju.net/hotevents/p2 首先我们通过普通的多线程,对该数据进行采集,由于本文主要目的是

  • Android版多线程下载 仿下载助手(最新)

    首先声明一点: 这里的多线程下载并不是指多个线程下载一个 文件,而是每个线程负责一个文件,今天给大家分享一个多线程下载的 例子.先看一下效果,点击下载开始下载,同时显示下载进度,下载完成,变成程安装,点击安装提示安装应用. 界面效果图: 线程池ThreadPoolExecutor ,先简单学习下这个线程池的使用 /** * Parameters: corePoolSize the number of threads to keep in the pool, even if they are id

  • springmvc配置线程池Executor做多线程并发操作的代码实例

    加载xml文件 在ApplicationContext.xml文件里面添加 xmlns:task="http://www.springframework.org/schema/task" xmlns文件并且xsi:schemaLocation中添加 http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task.xsd 在spring中配置Executor

随机推荐