java多线程读取多个文件的方法

本文实例为大家分享了java多线程读取多个文件的具体代码,供大家参考,具体内容如下

工具类代码如下:

import java.io.*;
import java.util.List;
import java.util.concurrent.CountDownLatch;

/**
 * 多线程读取多个文件
 */
public class FileThread extends Thread{

 private final CountDownLatch countDownLatch = new CountDownLatch(10);
 private int fileIndex;
 private List<String> filelist;
 private String filepath = "D:\\LocalFtpServer\\data20181229\\";
 private String movepath = "D:\\LocalFtpServer\\data20181229_01\\";

 public int getFileIndex() {
  return fileIndex;
 }

 public void setFileIndex(int fileIndex) {
  this.fileIndex = fileIndex;
 }

 public List<String> getFilelist() {
  return filelist;
 }

 public void setFilelist(List<String> filelist) {
  this.filelist = filelist;
 }

 @Override
 public void run() {

  for (int i = 0; i < filelist.size(); i++) {
   if (i % 10 == fileIndex) {
    //读取文件
    File readfile = new File(filepath + filelist.get(i));
    InputStreamReader isr = null;
    try {
     isr = new InputStreamReader(new FileInputStream(readfile), "UTF-8");
     BufferedReader reader = new BufferedReader(isr);
     String line = null;
     // 一次读入一行,直到读入null为文件结束
     while ((line = reader.readLine()) != null) {
      System.out.println(line );
     }
     reader.close();
     isr.close();
    } catch (UnsupportedEncodingException e) {
     e.printStackTrace();
    } catch (IOException e) {
     e.printStackTrace();
    }
    //读取完后, 移动文件位置
    readfile.renameTo(new File(movepath + readfile.getName()));
   }
  }
  countDownLatch.countDown();
 }
}

调用测试:

 public static void main(String[] args) throws IOException {
 String filepath = "D:\\LocalFtpServer\\data20181229\\";
 File file = new File(filepath);
 //读取目录下所有文件
 String[] filelist = file.list();
 List<String> fList=new ArrayList<String>();

 for (int i = 0; i < filelist.length; i++) {
 if (filelist[i].startsWith("data") && filelist[i].endsWith(".txt")) {
  fList.add(filelist[i]);
 }
 }
 for(int i=0;i<30;i++){
 FileThread fileThread=new FileThread();
 fileThread.setFileIndex(i);
 fileThread.setFilelist(fList);
 fileThread.start();
 }
 countDownLatch.await();
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • java使用多线程读取超大文件

    接上次写的"JAVA读取超大文件".在读取超过10G的文件时会发现一次读一行的速度实在是不能接受,想到使用多线程+FileChannel来做一个使用多线程版本. 基本思路如下: 1.计算出文件总大小 2.分段处理,计算出每个线程读取文件的开始与结束位置 (文件大小/线程数)*N,N是指第几个线程,这样能得到每个线程在读该文件的大概起始位置 使用"大概起始位置",作为读文件的开始偏移量(fileChannel.position("大概起始位置"))

  • Java jdbc批量多线程读取CVS文件入库

    需求是这样的:现在需要测试一个内存数据库的入库性能,要求测试每线程准备一个文件,10个线程入库总计100w记录数的单表入库性能. 知识点:jdbc + 多线程 + 批处理 + 文件读取 先来看看我的代码结构 说明: files: 存放即将要读取的文件. lib: 存放第三方的jar文件,例如数据库驱动包. MemSqlTestMain: 这是工程的入口,就是主程序. DBUtil: 这个类是数据库帮助类,主要读取数据库配置信息获取连接关闭连接等操作. InsertUtil: 主要做的是读取数据文

  • java多线程有序读取同一个文件

    本人刚参加工作,面试的时候遇四道笔试题,其中就有这道多线程有序读取文件的题目,初看时拿不准,感觉会,又感觉不会.于是放弃了这道题,今天闲下来好好做一遍. //定义一个runnable接口的实现类 import java.io.File; import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; public class RunnableImpl implem

  • java多线程读取多个文件的方法

    本文实例为大家分享了java多线程读取多个文件的具体代码,供大家参考,具体内容如下 工具类代码如下: import java.io.*; import java.util.List; import java.util.concurrent.CountDownLatch; /** * 多线程读取多个文件 */ public class FileThread extends Thread{ private final CountDownLatch countDownLatch = new Count

  • JAVA使用geotools读取shape格式文件的方法

    先看下JAVA用geotools读取shape格式文件 Shapefile属于一种矢量图形格式,它能够保存几何图形的位置及相关属性.但这种格式没法存储地理数据的拓扑信息. 其中,要组成一个Shapefile,有三个文件是必不可少的,它们分别是".shp", ".shx"与 ".dbf"文件 .shp- 图形格式,用于保存元素的几何实体. .shx- 图形索引格式.几何体位置索引,记录每一个几何体在shp文件之中的位置,能够加快向前或向后搜索一个几

  • Java实现读取项目中文件(.json或.properties)的方法详解

    目录 1. 读取json file 1.1 Json dependency 1.2 字节流 1.3 buffer reader 2. 读取properties file 3. 好看的css样式 1. 读取json file 1.1 Json dependency <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>

  • java实现读取、删除文件夹下的文件

    java实现读取.删除文件夹下的文件 package test.com; import java.io.File; import java.io.FileNotFoundException; import java.io.IOException; public class ReadFile { public ReadFile() { } /** * 读取某个文件夹下的所有文件 */ public static boolean readfile(String filepath) throws Fi

  • 详解Java向服务端发送文件的方法

    本文实例为大家分享了Java向服务端发送文件的方法,供大家参考,具体内容如下 /* *给服务端发送文件,主要是IO流. */ import java.io.*; import java.net.*; class send2 { public static void main(String[] args) throws Exception { Socket s = new Socket("192.168.33.1",10005);//建立服务 BufferedReader bufr =

  • java实现切割wav音频文件的方法详解【附外部jar包下载】

    本文实例讲述了java实现切割wav音频文件的方法.分享给大家供大家参考,具体如下: import it.sauronsoftware.jave.Encoder; import it.sauronsoftware.jave.MultimediaInfo; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import j

  • Java实现导入导出Excel文件的方法(poi,jxl)

    目前,比较常用的实现Java导入.导出Excel的技术有两种Jakarta POI和Java Excel直接上代码: 一,POI POI是apache的项目,可对微软的Word,Excel,Ppt进行操作,包括office2003和2007,Excl2003和2007.poi现在一直有更新.所以现在主流使用POI. xls: pom: <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi

  • Java模板动态生成word文件的方法步骤

    最近项目中需要根据模板生成word文档,模板文件也是word文档.当时思考一下想用POI API来做,但是觉得用起来相对复杂.后来又找了一种方式,使用freemarker模板生成word文件,经过尝试觉得还是相对简单易行的. 使用freemarker模板生成word文档主要有这么几个步骤 1.创建word模板:因为我项目中用到的模板本身是word,所以我就直接编辑word文档转成freemarker(.ftl)格式的. 2.将改word文件另存为xml格式,注意使用另存为,不是直接修改扩展名.

  • Java 多线程有序执行的几种方法总结

    Java 多线程有序执行的几种方法总结 同事无意间提出了这个问题,亲自实践了两种方法.当然肯定还会有更多更好的方法. 方法一 import java.util.concurrent.atomic.AtomicInteger; public class OrderedThread1 { static AtomicInteger count = new AtomicInteger(0); public static void main(String[] args) throws Interrupte

  • Java使用Socket通信传输文件的方法示例

    本文实例讲述了Java使用Socket通信传输文件的方法.分享给大家供大家参考,具体如下: 前面几篇文章介绍了使用Java的Socket编程和NIO包在Socket中的应用,这篇文章说说怎样利用Socket编程来实现简单的文件传输. 这里由于前面一片文章介绍了NIO在Socket中的应用,所以这里在读写文件的时候也继续使用NIO包,所以代码看起来会比直接使用流的方式稍微复杂一点点. 下面的示例演示了客户端向服务器端发送一个文件,服务器作为响应给客户端回发一个文件.这里准备两个文件E:/test/

随机推荐