Java countDownLatch如何实现多线程任务阻塞等待

2024-07-29 09:51:43

我这里需要通过多线程去处理数据，然后在所有数据都处理完成后再往下执行。这里就用到了CountDownLatch。把countdownlatch作为参数传入到每个线程类里，在线程中处理完数据后执行countdown方法。在所有countdownlatch归零后，其await方法结束阻塞状态而往下执行。

具体代码如下：

将多线程任务提交线程池

   @Bean(name = "ggnews_executor")
	public Executor postExecutor() {
		ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
		executor.setCorePoolSize(1);
		executor.setMaxPoolSize(1);
		executor.setQueueCapacity(1);
		executor.setKeepAliveSeconds(120);
		executor.setThreadNamePrefix("executor-");
		executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());
		return executor;
	}
	//通过定时任务调用的fetch方法，为了避免定时任务在多次执行中失效，通异步指定线程池的方式进行调用
	@Async("ggnews_executor")
	public void fetch() {
		if(fetchFlag.getAndSet(false)) {
			List<FetchTag> tags = fetchTagService.selectFetchTagList(fetchTag);
			CountDownLatch downLatch = new CountDownLatch(tags.size());
			for (FetchTag tag : tags) {
				FetchTag tagNew;
				try {
					tagNew =(FetchTag) tag.clone();
				} catch (Throwable e) {
					log.error("",e);
					continue;
				}
        //作为参数将CountDownLatch传入
				InnerRunner innerRunner = new InnerRunner(downLatch, tagNew);
				executor.execute(innerRunner);
			}
			try {
        //等待线程执行完毕,如果十分钟后还没结束也会停止阻塞状态
				downLatch.await(10,TimeUnit.MINUTES);
				fetchFlag.getAndSet(true);
			} catch (Throwable e) {
				log.error("fetch()方法发生错误:{}", e);
				fetchFlag.getAndSet(true);
				//e.printStackTrace();
			} finally {
				fetchFlag.getAndSet(true);
			}
		} else {
			log.info("=======上次抓取尚未结束=========");
		}
	}

InnerRunner为要执行具体任务的线程类

private class InnerRunner implements Runnable {
		private CountDownLatch downLatch;
		private FetchTag tag;
		private InnerRunner(CountDownLatch downLatch, FetchTag tag) {
			this.downLatch = downLatch;
			this.tag = tag;
		}
		@Override
		public void run() {
      //将countDown方法移入到具体方法中的finally块中，以保证即使在抛出异常的情况下也算执行了此次任务，countdown会被执行
			fetchGG(tag.getTag(), downLatch);
			//downLatch.countDown();
			this.tag = null;
		}
	}

private static final String GOOGLE_URL_IN = "https://news.google.com/rss/search?hl=hi&gl=IN&ceid=IN:hi&q=";
public void fetchGG(String tag, CountDownLatch downLatch) {
		try {
			Document document = Jsoup.parse(new URL(GOOGLE_URL_IN + URLEncoder.encode("\"" + tag + "\"", "utf-8")), 30000);
			Elements elements = document.getElementsByTag("item");
			int rank = 1;
			for (Element element : elements) {

				String sourceTitle = element.getElementsByTag("title").get(0).text();
				log.info("source title:" + sourceTitle);
			}
		} catch (Throwable e) {
			log.info("fetch google url error", e);
		} finally {
      //肯定会被执行
			downLatch.countDown();
		}
	}

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

详解java CountDownLatch和CyclicBarrier在内部实现和场景上的区别

前言 CountDownLatch和CyclicBarrier两个同为java并发编程的重要工具类,它们在诸多多线程并发或并行场景中得到了广泛的应用.但两者就其内部实现和使用场景而言是各有所侧重的. 内部实现差异前者更多依赖经典的AQS机制和CAS机制来控制器内部状态的更迭和计数器本身的变化,而后者更多依靠可重入Lock等机制来控制其内部并发安全性和一致性. public class { //Synchronization control For CountDownLatch. //Uses
JAVA多线程CountDownLatch使用详解

前序: 上周测试给开发的同事所开发的模块提出了一个bug,并且还是偶现. 经过仔细查看代码,发现是在业务中启用了多线程,2个线程同时跑,但是新启动的2个线程必须保证一个完成之后另一个再继续运行,才能消除bug. 什么时候用? 多线程是在很多地方都会用到的,但是我们如果想要实现在某个特定的线程运行完之后,再启动另外一个线程呢,这个时候CountDownLatch就可以派上用场了怎么用? 先看看普通的多线程代码: package code; public class MyThread extend
Java线程并发工具类CountDownLatch原理及用法

一.CountDownLatch [1]CountDownLatch是什么? CountDownLatch,英文翻译为倒计时锁存器,是一个同步辅助类,在完成一组正在其他线程中执行的操作之前,它允许一个或多个线程一直等待. 闭锁可以延迟线程的进度直到其到达终止状态,闭锁可以用来确保某些活动直到其他活动都完成才继续执行: 确保某个计算在其需要的所有资源都被初始化之后才继续执行; 确保某个服务在其依赖的所有其他服务都已经启动之后才启动; 等待直到某个操作所有参与者都准备就绪再继续执行: CountD
Java CountDownLatch完成异步回调实例详解

Java CountDownLatch完成异步回调实例详解实例代码: public class AsyncDemo { private static void doSomeTask() { System.out.println("Hello World"); } private static void onCompletion() { System.out.println("All tasks finished"); } public static void ma
Java并发系列之CountDownLatch源码分析

CountDownLatch(闭锁)是一个很有用的工具类,利用它我们可以拦截一个或多个线程使其在某个条件成熟后再执行.它的内部提供了一个计数器,在构造闭锁时必须指定计数器的初始值,且计数器的初始值必须大于0.另外它还提供了一个countDown方法来操作计数器的值,每调用一次countDown方法计数器都会减1,直到计数器的值减为0时就代表条件已成熟,所有因调用await方法而阻塞的线程都会被唤醒.这就是CountDownLatch的内部机制,看起来很简单,无非就是阻塞一部分线程让其在达到某个条
浅谈java并发之计数器CountDownLatch

CountDownLatch简介 CountDownLatch顾名思义,count + down + latch ＝计数 + 减 + 门闩(这么拆分也是便于记忆=_=) 可以理解这个东西就是个计数器,只能减不能加,同时它还有个门闩的作用,当计数器不为0时,门闩是锁着的:当计数器减到0时,门闩就打开了. 如果你感到懵比的话,可以类比考生考试交卷,考生交一份试卷,计数器就减一.直到考生都交了试卷(计数器为0),监考老师(一个或多个)才能离开考场.至于考生是否做完试卷,监考老师并不关注.只要都交了试
java使用CountDownLatch等待多线程全部执行完成

前言 CountDownLatch 允许一个或多个线程等待其他线程完成操作. 应用场景假如有一个列表的大量数据等待处理,最后全部处理完毕后返回处理结果.普通做法就是从头遍历,一个个顺序执行,这样单线程处理效率不高,我们希望使用多线程的方式处理,同时在主线程等待所有子线程处理完成. CountDownLatch的构造函数接收一个int类型的参数作为计数器,如果你想等待N个点完成,这里就传入N. 当我们调用一次CountDownLatch的countDown方法时,N就会减1,CountDownL
Java countDownLatch如何实现多线程任务阻塞等待

我这里需要通过多线程去处理数据,然后在所有数据都处理完成后再往下执行.这里就用到了CountDownLatch.把countdownlatch作为参数传入到每个线程类里,在线程中处理完数据后执行countdown方法.在所有countdownlatch归零后,其await方法结束阻塞状态而往下执行. 具体代码如下: 将多线程任务提交线程池 @Bean(name = "ggnews_executor") public Executor postExecutor() { ThreadPoo
Java CountDownLatch的源码硬核解析

目录前言介绍和使用例子概述实现思路源码解析类结构图 await() 实现原理 countDown()实现原理前言对于并发执行,Java中的CountDownLatch是一个重要的类,简单理解, CountDownLatch中count down是倒数的意思,latch则是“门闩”的含义.在数量倒数到0的时候,打开“门闩”, 一起走,否则都等待在“门闩”的地方. 为了更好的理解CountDownLatch这个类,本文通过例子和源码带领大家深入解析这个类的原理. 介绍和使用例子
java 中同步、异步、阻塞和非阻塞区别详解

java 中同步.异步.阻塞和非阻塞区别详解简单点说: 阻塞就是干不完不准回来,一直处于等待中,直到事情处理完成才返回: 非阻塞就是你先干,我先看看有其他事没有,一发现事情被卡住,马上报告领导. 我们拿最常用的send和recv两个函数来说吧... 比如你调用send函数发送一定的Byte,在系统内部send做的工作其实只是把数据传输(Copy)到TCP/IP协议栈的输出缓冲区,它执行成功并不代表数据已经成功的发送出去了,如果TCP/IP协议栈没有足够的可用缓冲区来保存你Copy过来的数据的话
JAVA CountDownLatch（倒计时计数器）用法实例

这篇文章主要介绍了JAVA CountDownLatch(倒计时计数器)用法实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下方法说明: public void countDown() 递减锁存器的计数,如果计数到达零,则释放所有等待的线程.如果当前计数大于零,则将计数减少.如果新的计数为零,出于线程调度目的,将重新启用所有的等待线程. 如果当前计数等于零,则不发生任何操作. public boolean await(long timeout
详解Java Callable接口实现多线程的方式

在Java 1.5以前,创建线程的2种方式,一种是直接继承Thread,另外一种就是实现Runnable接口.无论我们以怎样的形式实现多线程,都需要调用Thread类中的start方法去向操作系统请求io,cup等资源.因为线程run方法没有返回值,如果需要获取执行结果,就必须通过共享变量或者使用线程通信的方式来达到效果,这样使用起来就比较麻烦. 而自从Java 1.5开始,就提供了Callable和Future,通过它们可以在任务执行完毕之后得到任务执行结果. Callable和Future介
Java CountDownLatch应用场景代码实例

Java的concurrent包里面的CountDownLatch其实可以把它看作一个计数器,只不过这个计数器的操作是原子操作,同时只能有一个线程去操作这个计数器,也就是同时只能有一个线程去减这个计数器里面的值. 你可以向CountDownLatch对象设置一个初始的数字作为计数值,任何调用这个对象上的await()方法都会阻塞,直到这个计数器的计数值被其他的线程减为0为止. CountDownLatch的一个非常典型的应用场景是:有一个任务想要往下执行,但必须要等到其他的任务执行完毕后才可以继
java项目中的多线程实践记录

项目开发中对于一些数据的处理需要用到多线程,比如文件的批量上传,数据库的分批写入,大文件的分段下载等. 通常会使用spring自带的线程池处理,做到对线程的定制化处理和更好的可控,建议使用自定义的线程池. 主要涉及到的几个点: 1. 自定义线程工厂(ThreadFactoryBuilder),主要用于线程的命名,方便追踪 2. 自定义的线程池(ThreadPoolExecutorUtils),可以按功能优化配置参数 3. 一个抽象的多线程任务处理接口(OperationThreadService
Java Socket上的Read操作阻塞问题详解

目录 Socket上的Read操作阻塞问题从Socket上读取对端发过来的数据一般有两种方法总结一下,有这么几个方法 Socket编程---read方法阻塞问题 Socket上的Read操作阻塞问题从Socket上读取对端发过来的数据一般有两种方法 1)按照字节流读取 BufferedInputStream in = new BufferedInputStream(socket.getInputStream()); int r = -1; List<Byte> l = new Linke
Java十分钟入门多线程中篇

目录 1.线程的调度: 1.设置优先级(Priority): 2.休眠(sleep) 3.强制运行(join) 4.礼让(yield) 2.定时器线程: 3.线程的同步: 举例说明: 我们知道飞机在天上飞行是有固定的航线(可以理解成线程),每个机场都有最大的运行负载能力,当运行情况超过了负载能力的时候,这就需要塔台调度参与,会根据每架飞机的优先级排序.当在航线的时候,如果出现紧急情况,会让其他飞机避让,让这架飞机优先级提高,先降落.这就是调度,计算机程序线程运行也是这样的. 1.线程的调度: 在
Java十分钟入门多线程上篇

什么是多线程? 在学习前,我们先对程序.进程.线程.并行.并发有个基础的概念了解: 程序: 为完成指定任务,用编程语言编写的一组指令的集合,即指一段静态的代码,静态对象. 进程: 是程序的一次执行过程,是一个动态的过程,进程自身有产生.使用和消亡的过程.(也称为生命周期,在后面会介绍) 线程: 进程可进一步细化为线程,是一个程序内部的一条执行路径,也就是进程内有线程并行: 指两个或者多个事件在同一时刻发生,(同时发生) 并发: 指两个或者多个事件在同一个时段内发生,(并不是同时发生) 更好的理

Java countDownLatch如何实现多线程任务阻塞等待

相关推荐

随机推荐