java8异步调用如何使用才是最好的方式

目录
  • 一、异步调用方式分析
  • 1.1 java8异步调用默认线程池方式
  • 二、使用自定义的线程池
  • 三、题外话,动态线程池
    • 3.1 什么是动态线程池?
    • 3.2 实践
    • 3.3 动态线程池有什么意义?
  • 总结

一、异步调用方式分析

今天在写代码的时候,想要调用异步的操作,这里我是用的java8的流式异步调用,但是使用过程中呢,发现这个异步方式有两个方法,如下所示:

区别是一个 需要指定线程池,一个不需要。

  • 那么指定线程池有哪些好处呢?直观的说有以下两点好处:

    • 可以根据我们的服务器性能,通过池的管理更好的规划我们的线程数。
    • 可以对我们使用的线程自定义名称,这里也是阿里java开发规范所提到的。

1.1 java8异步调用默认线程池方式

当然常规使用默认的也没什么问题。我们通过源码分析下使用默认线程池的过程。

   public static CompletableFuture<Void> runAsync(Runnable runnable) {
        return asyncRunStage(asyncPool, runnable);
    }

看下这个asyncPool是什么?

如下所示,useCommonPool如果为真,就使用ForkJoinPool.commonPool(),否则创建一个new ThreadPerTaskExecutor()

    private static final Executor asyncPool = useCommonPool ?
        ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

看看useCommonPool 是什么?

    private static final boolean useCommonPool =
        (ForkJoinPool.getCommonPoolParallelism() > 1);
  /**
    * 公共池的目标并行度级别
    */
    public static int getCommonPoolParallelism() {
        return commonParallelism;
    }

最终这个并行级别并没有给出默认值

static final int commonParallelism;

通过找到这个常量的调用,我们看看是如何进行初始化的,在ForkJoinPool中有一个静态代码块,启动时会对commonParallelism进行初始化,我们只关注最后一句话就好了,:

    // Unsafe mechanics
    private static final sun.misc.Unsafe U;
    private static final int  ABASE;
    private static final int  ASHIFT;
    private static final long CTL;
    private static final long RUNSTATE;
    private static final long STEALCOUNTER;
    private static final long PARKBLOCKER;
    private static final long QTOP;
    private static final long QLOCK;
    private static final long QSCANSTATE;
    private static final long QPARKER;
    private static final long QCURRENTSTEAL;
    private static final long QCURRENTJOIN;

    static {
        // initialize field offsets for CAS etc
        try {
            U = sun.misc.Unsafe.getUnsafe();
            Class<?> k = ForkJoinPool.class;
            CTL = U.objectFieldOffset
                (k.getDeclaredField("ctl"));
            RUNSTATE = U.objectFieldOffset
                (k.getDeclaredField("runState"));
            STEALCOUNTER = U.objectFieldOffset
                (k.getDeclaredField("stealCounter"));
            Class<?> tk = Thread.class;
            PARKBLOCKER = U.objectFieldOffset
                (tk.getDeclaredField("parkBlocker"));
            Class<?> wk = WorkQueue.class;
            QTOP = U.objectFieldOffset
                (wk.getDeclaredField("top"));
            QLOCK = U.objectFieldOffset
                (wk.getDeclaredField("qlock"));
            QSCANSTATE = U.objectFieldOffset
                (wk.getDeclaredField("scanState"));
            QPARKER = U.objectFieldOffset
                (wk.getDeclaredField("parker"));
            QCURRENTSTEAL = U.objectFieldOffset
                (wk.getDeclaredField("currentSteal"));
            QCURRENTJOIN = U.objectFieldOffset
                (wk.getDeclaredField("currentJoin"));
            Class<?> ak = ForkJoinTask[].class;
            ABASE = U.arrayBaseOffset(ak);
            int scale = U.arrayIndexScale(ak);
            if ((scale & (scale - 1)) != 0)
                throw new Error("data type scale not a power of two");
            ASHIFT = 31 - Integer.numberOfLeadingZeros(scale);
        } catch (Exception e) {
            throw new Error(e);
        }

        commonMaxSpares = DEFAULT_COMMON_MAX_SPARES;
        defaultForkJoinWorkerThreadFactory =
            new DefaultForkJoinWorkerThreadFactory();
        modifyThreadPermission = new RuntimePermission("modifyThread");

        common = java.security.AccessController.doPrivileged
            (new java.security.PrivilegedAction<ForkJoinPool>() {
                public ForkJoinPool run() { return makeCommonPool(); }});
         // 即使线程被禁用也是1,至少是个1
        int par = common.config & SMASK;
        commonParallelism = par > 0 ? par : 1;
    }

如下所示,默认是7:

所以接着下面的代码看:

    private static final boolean useCommonPool =
        (ForkJoinPool.getCommonPoolParallelism() > 1);

这里一定是返回true,证明当前是并行的。

    private static final Executor asyncPool = useCommonPool ?
        ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

上面会返回一个大小是七的的默认线程池

其实这个默认值是当前cpu的核心数,我的电脑是八核,在代码中默认会将核心数减一,所以显示是七个线程。

        if (parallelism < 0 && //默认是1,小于核心数
            (parallelism = Runtime.getRuntime().availableProcessors() - 1) <= 0)
            parallelism = 1;
        if (parallelism > MAX_CAP)
            parallelism = MAX_CAP;

下面我们写个main方法测试一下,10个线程,每个阻塞10秒,看结果:

    public static void main(String[] args) {
        // 创建10个任务,每个任务阻塞10秒
        for (int i = 0; i < 10; i++) {
            CompletableFuture.runAsync(() -> {
                try {
                    Thread.sleep(10000);
                    System.out.println(new Date() + ":" + Thread.currentThread().getName());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            });
        }

        try {
            Thread.sleep(30000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

结果如下所示,前面七个任务先完成,另外三个任务被阻塞10秒后,才完成:

Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-5
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-4
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-2
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-7
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-3
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-6
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-1
-----------------------------------------------------------
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-2
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-5
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-4

结论:当我们使用默认的线程池进行异步调用时,如果异步任务是一个IO密集型,简单说处理时间占用长,将导致其他使用共享线程池的任务阻塞,造成系统性能下降甚至异常。甚至当一部分调用接口时,如果接口超时,那么也会阻塞与超时时长相同的时间;实际在计算密集的场景下使用是能提高性能的。

二、使用自定义的线程池

上面说到如果是IO密集型的场景,在异步调用时还是使用自定义线程池比较好。

  • 针对开篇提到的两个显而易见的好处,此处新增一条:

    • 可以根据我们的服务器性能,通过池的管理更好的规划我们的线程数。
    • 可以对我们使用的线程自定义名称,这里也是阿里java开发规范所提到的。
    • 不会因为阻塞导致使用共享线程池的其他线程阻塞甚至异常。

我们自定义下面的线程池:

/**
 * @description: 全局通用线程池
 * @author:weirx
 * @date:2021/9/9 18:09
 * @version:3.0
 */
@Slf4j
public class GlobalThreadPool {

    /**
     * 核心线程数
     */
    public final static int CORE_POOL_SIZE = 10;

    /**
     * 最大线程数
     */
    public final static int MAX_NUM_POOL_SIZE = 20;

    /**
     * 任务队列大小
     */
    public final static int BLOCKING_QUEUE_SIZE = 30;

    /**
     * 线程池实例
     */
    private final static ThreadPoolExecutor instance = getInstance();

    /**
     * description: 初始化线程池
     *
     * @return: java.util.concurrent.ThreadPoolExecutor
     * @author: weirx
     * @time: 2021/9/10 9:49
     */
    private synchronized static ThreadPoolExecutor getInstance() {
        // 生成线程池
        ThreadPoolExecutor executor = new ThreadPoolExecutor(
                CORE_POOL_SIZE,
                MAX_NUM_POOL_SIZE,
                60,
                TimeUnit.SECONDS,
                new LinkedBlockingQueue<>(BLOCKING_QUEUE_SIZE),
                new NamedThreadFactory("Thread-wjbgn-", false));
        return executor;
    }

    private GlobalThreadPool() {
    }

    public static ThreadPoolExecutor getExecutor() {
        return instance;
    }
}

调用:

    public static void main(String[] args) {
        // 创建10个任务,每个任务阻塞10秒
        for (int i = 0; i < 10; i++) {
            CompletableFuture.runAsync(() -> {
                try {
                    Thread.sleep(10000);
                    System.out.println(new Date() + ":" + Thread.currentThread().getName());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            },GlobalThreadPool.getExecutor());
        }

        try {
            Thread.sleep(30000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

输出我们指定线程名称的线程:

Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-1
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-10
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-2
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-9
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-5
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-6
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-3
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-7
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-8
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-4

三、题外话,动态线程池

3.1 什么是动态线程池?

在我们使用线程池的时候,是否有的时候很纠结,到底设置多大的线程池参数是最合适的呢?如果不够用了怎么办,要改代码重新部署吗?

其实是不需要的,记得当初看过美团的一篇文章,真的让人茅塞顿开啊,动态线程池。

ThreadPoolExecutor这个类其实是提供对于线程池的属性进行修改的,支持我们动态修改以下的属性:

从上至下分别是:

  • 线程工厂(用于指定线程名称)
  • 核心线程数
  • 最大线程数
  • 活跃时间
  • 拒绝策略。

在美团的文章当中呢,是监控服务器线程的使用率,当达到阈值就进行告警,然后通过配置中心去动态修改这些数值。

我们也可以这么做,使用@RefreshScope加nacos就可以实现了。

3.2 实践

我写了一个定时任务,监控当前服务的线程使用率,小了就扩容,一段时间后占用率下降,就恢复初始值。

其实还有很多地方需要改进的,请大家多提意见,监控的是文章前面的线程池GlobalThreadPool,下面调度任务的代码:

/**
 * @description: 全局线程池守护进程
 * @author:weirx
 * @date:2021/9/10 16:32
 * @version:3.0
 */
@Slf4j
@Component
public class DaemonThreadTask {

    /**
     * 服务支持最大线程数
     */
    public final static int SERVER_MAX_SIZE = 50;

    /**
     * 最大阈值Maximum threshold,百分比
     */
    private final static int MAXIMUM_THRESHOLD = 8;

    /**
     * 每次递增最大线程数
     */
    private final static int INCREMENTAL_MAX_NUM = 10;

    /**
     * 每次递增核心线程数
     */
    private final static int INCREMENTAL_CORE_NUM = 5;

    /**
     * 当前线程数
     */
    private static int currentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;

    /**
     * 当前核心线程数
     */
    private static int currentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;

    @Scheduled(cron = "0 */5 * * * ?")
    public static void execute() {
        threadMonitor();
    }

    /**
     * description: 动态监控并设置线程参数
     *
     * @return: void
     * @author: weirx
     * @time: 2021/9/10 13:20
     */
    private static void threadMonitor() {
        ThreadPoolExecutor instance = GlobalThreadPool.getExecutor();
        int activeCount = instance.getActiveCount();
        int size = instance.getQueue().size();
        log.info("GlobalThreadPool: the active thread count is {}", activeCount);
        // 线程数不足,增加线程
        if (activeCount > GlobalThreadPool.MAX_NUM_POOL_SIZE % MAXIMUM_THRESHOLD
                && size >= GlobalThreadPool.BLOCKING_QUEUE_SIZE) {
            currentSize = currentSize + INCREMENTAL_MAX_NUM;
            currentCoreSize = currentCoreSize + INCREMENTAL_CORE_NUM;
            //当前设置最大线程数小于服务最大支持线程数才可以继续增加线程
            if (currentSize <= SERVER_MAX_SIZE) {
                instance.setMaximumPoolSize(currentSize);
                instance.setCorePoolSize(currentCoreSize);
                log.info("this max thread size is {}", currentSize);
            } else {
                log.info("current size is more than server max size, can not add");
            }
        }
        // 线程数足够,降低线程数,当前活跃数小于默认核心线程数
        if (activeCount < GlobalThreadPool.MAX_NUM_POOL_SIZE
                && size == 0
                && currentSize > GlobalThreadPool.MAX_NUM_POOL_SIZE) {
            currentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;
            currentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;
            instance.setMaximumPoolSize(currentSize);
            instance.setCorePoolSize(currentCoreSize);
        }
    }
}

3.3 动态线程池有什么意义?

有的朋友其实问过我,我直接把线程池设置大一点不就好了,这种动态线程池有什么意义呢?

其实这是一个好问题。在以前的传统软件当中,单机部署,硬件部署,确实,我们能使用的线程数取决于服务器的核心线程数,而且基本没有其他服务来争抢这些线程。

但是现在是容器的时代,云原生的时代。

多个容器部署在一个宿主机上,那么当高峰期的时候,某个容器就需要占用大量的cpu资源,如果所有的容器都将大部分资源占据,那么这个容器必然面临阻塞甚至瘫痪的风险。

当高峰期过了,释放这部分资源可以被释放掉,用于其他需要的容器。。

再结合到目前的云服务器节点扩容,都是需要动态扩缩容的的,和线程相似,在满足高可用的情况下,尽量的节约成本。

总结

到此这篇关于java8异步调用如何使用的文章就介绍到这了,更多相关java8异步调用使用内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 如何基于回调实现Java的异步调用

    异步是指调用发出后,调用者不会立刻得到结果,而是在调用发出后,被调用者通知调用者,或通过回调函数处理这个调用. 回调简单地说就是B中有一个A,这样A在调用B的某个方法时实际上是调用到了自己的方法. 利用回调可以实现Java的异步调用,下面的例子来自网上. 回调接口: public interface CallBack { /** * 执行回调方法 * @param objects 将处理后的结果作为参数返回给回调方法 */ public void execute(Object... object

  • Java异步调用转同步方法实例详解

    先说一下对异步和同步的理解: 同步调用:调用方在调用过程中,持续等待返回结果. 异步调用:调用方在调用过程中,不直接等待返回结果,而是执行其他任务,结果返回形式通常为回调函数. 其实,两者的区别还是很明显的,这里也不再细说,我们主要来说一下Java如何将异步调用转为同步.换句话说,就是需要在异步 调用过程中,持续阻塞至获得调用结果. 不卖关子,先列出五种方法,然后一一举例说明: 使用wait和notify方法 使用条件锁 Future 使用CountDownLatch 使用CyclicBarri

  • 说说Java异步调用的几种方式

    目录 一.通过创建新线程 二.通过线程池 三.通过@Async注解 四.通过CompletableFuture 日常开发中,会经常遇到说,前台调服务,然后触发一个比较耗时的异步服务,且不用等异步任务的处理结果就对原服务进行返回.这里就涉及的Java异步调用的一个知识.下面本文尝试将Java异步调用的多种方式进行归纳. 一.通过创建新线程 首先的我们得认识到,异步调用的本质,其实是通过开启一个新的线程来执行.如以下例子: public static void main(String[] args)

  • JAVA实现异步调用实例代码

    在JAVA平台,实现异步调用的角色有如下三个角色: 调用者 取货凭证   真实数据 一个调用者在调用耗时操作,不能立即返回数据时,先返回一个取货凭证.然后在过一断时间后凭取货凭证来获取真正的数据. 在调用一个方法的时候,程序会进入被调用方法体内,执行完这个被调用方法后,才返回执行下一条语句.怎么做到像ajax异步请求一样,发送请求后,没等请求响应就执行下一条语句呢?对于java的异步请求,找了许多教材都没有找到,如thinking in java.core java2 ......等等.受多线程

  • java8异步调用如何使用才是最好的方式

    目录 一.异步调用方式分析 1.1 java8异步调用默认线程池方式 二.使用自定义的线程池 三.题外话,动态线程池 3.1 什么是动态线程池? 3.2 实践 3.3 动态线程池有什么意义? 总结 一.异步调用方式分析 今天在写代码的时候,想要调用异步的操作,这里我是用的java8的流式异步调用,但是使用过程中呢,发现这个异步方式有两个方法,如下所示: 区别是一个 需要指定线程池,一个不需要. 那么指定线程池有哪些好处呢?直观的说有以下两点好处: 可以根据我们的服务器性能,通过池的管理更好的规划

  • PHP实现异步调用方法研究与分享

    这样就出现了一个问题,一个客户端的相应服务端可能执行1秒也有可能执行1分钟,这样浏览器就会一直处于等待状态,如果程序执行缓慢,用户可能就没耐心关掉了浏览器. 而有的时候我们不需要关心程序执行的结果,没有必要这样浪费时间和耐心等待,那我们就要想出办法让程序不收等待在后台静默执行. 比如现在有一个场景,给1000个用户发送一封推荐邮件,用户输入或者导入邮件账号了提交服务器执行发送. 复制代码 代码如下: <?php $count=count($emailarr); for($i=0;$i<$cou

  • PHP异步调用socket实现代码

    PHP异步调用实现方式 浏览器和服务器之间只一种面向无连接的HTTP协议进行通讯的,面向无连接的程序的特点是客户端请求服务端,服务端根据请求输出相应的程序,不能保持持久连接. 这样就出现了一个问题,一个客户端的相应服务端可能执行1秒也有可能执行1分钟,这样浏览器就会一直处于等待状态,如果程序执行缓慢,用户可能就没耐心关掉了浏览器. 而有的时候我们不需要关心程序执行的结果,没有必要这样浪费时间和耐心等待,那我们就要想出办法让程序不收等待在后台静默执行. 比如现在有一个场景,给1000个用户发送一封

  • 浅析jquery ajax异步调用方法中不能给全局变量赋值的原因及解决方法

    在调用一个jquery的ajax方法时我们有时会需要该方法返回一个值或者给某个全局变量赋值,可是我们发现程序执行完后并没有获取到我们想要的值,这时很有可能是因为你用的是ajax的异步调用async:true(默认情况),如: 复制代码 代码如下: function ManageCommentText(text) {var result = text;$.ajax({data: "get",url: "GetComments.aspx",data: "typ

  • Android与JS之间跨平台异步调用实例详解

    Android与JS之间跨平台异步调用 为什么突然要搞这个问题呢? 在开发浏览器的时候遇到这个狗血的问题,花了将近1天的时间才想到这个解决方案,Android与JavaScirpt互调. 因为接口是抓取的别人的,所以出现了JS跨域问题,Android闪亮登场搞定了. GIF动画演示   WebView相关设置 WebSettings mWebSettings = getSettings(); mWebSettings.setDefaultTextEncodingName("UTF-8"

  • php 异步调用方法实现示例

    php 异步调用方法 客户端与服务器端是通过HTTP协议进行连接通讯,客户端发起请求,服务器端接收到请求后执行处理,并返回处理结果. 有时服务器需要执行很耗时的操作,这个操作的结果并不需要返回给客户端.但因为php是同步执行的,所以客户端需要等待服务处理完才可以进行下一步. 因此对于耗时的操作适合异步执行,服务器接收到请求后,处理完客户端需要的数据就返回,再异步在服务器执行耗时的操作. 1.使用Ajax 与 img 标记 原理,服务器返回的html中插入Ajax 代码或 img 标记,img的s

  • Spring Boot集成教程之异步调用Async

    前言 本文主要给大家介绍了关于Spring Boot集成之异步调用Async的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 什么是异步调用? 异步调用是相对于同步调用而言的,同步调用是指程序按预定顺序一步步执行,每一步必须等到上一步执行完后才能执行,异步调用则无需等待上一步程序执行完即可执行. 异步处理方式 调用之后,不返回任何数据. 调用之后,返回数据,通过Future来获取返回数据 如何实现异步调用? 多线程,这是很多人第一眼想到的关键词,没错,多线程就是一种实

  • Spring Boot利用@Async如何实现异步调用:自定义线程池

    前言 在之前的Spring Boot基础教程系列中,已经通过<Spring Boot中使用@Async实现异步调用>一文介绍过如何使用@Async注解来实现异步调用了.但是,对于这些异步执行的控制是我们保障自身应用健康的基本技能.本文我们就来学习一下,如果通过自定义线程池的方式来控制异步调用的并发. 本文中的例子我们可以在之前的例子基础上修改,也可以创建一个全新的Spring Boot项目来尝试. 定义线程池 第一步,先在Spring Boot主类中定义一个线程池,比如: @SpringBoo

  • SpringBoot实现定时任务和异步调用

    本文实例为大家分享了SpringBoot实现定时任务和异步调用的具体代码,供大家参考,具体内容如下 环境: jdk1.8:spring boot2.0.2:Maven3.3 摘要说明: 定时任务:定时任务是业务场景中经常出现的一种情况如:定时发送邮件,短信.定时统计监控数据.定时对账等 异步调用:一个都买流程可能包括下单.发货通知.短信推送.消息推送等,其实除了下单这个主要程序是主程序,其他子程序可以同时进行且不影响主程序的运行,这个时候就可以使用异步调用来调用这些子程序: 步骤: 1.定时任务

随机推荐