Java 协程 Quasar详解

目录
  • 前言
  • 协程是什么?
  • Quasar使用
    • 1、运行时间
    • 2、内存占用
    • 3、原理与应用
  • 总结

前言

在编程语言的这个圈子里,各种语言之间的对比似乎就一直就没有停过,像什么古早时期的"PHP是世界上最好的语言"就不提了,最近我在摸鱼的时候,看到不少文章都在说"Golang性能吊打Java"。作为一个写了好几年java的javaer,这我怎么能忍?于是在网上看了一些对比golang和java的文章,其中戳中java痛点、也是golang被吹上天的一条,就是对多线程并发的支持了。先看一段描述:

Go从语言层面原生支持并发,并且使用简单,Go语言中的并发基于轻量级线程Goroutine,创建成本很低,单个Go应用也可以充分利用CPU多核,编写高并发服务端软件简单,执行性能好,很多情况下完全不需要考虑锁机制以及由此带来的各种问题。

看到这,我的心瞬间凉了大半截,真的是字字扎心。虽然说java里的JUC包已经帮我们封装好了很多并发工具,但实际高并发的环境中我们还要考虑到各种锁的使用,以及服务器性能瓶颈、限流熔断等非常多方面的问题。

再说回go,前面提到的这个goroutine究竟是什么东西?其实,轻量级线程goroutine也可以被称为协程,得益于go中的调度器以及GMP模型,go程序会智能地将goroutine中的任务合理地分配给每个 CPU。

好了,其实上面说的这一大段我也不懂,都是向写go的哥们儿请教来的,总之就是go的并发性能非常优秀就是了。不过这都不是我们要说的重点,今天我们要讨论的是如何在Java中使用协程。

协程是什么?

我们知道,线程在阻塞状态和可运行状态的切换,以及线程间的上下文切换都会造成性能的损耗。为了解决这些问题,引入协程coroutine这一概念,就像在一个进程中允许存在多个线程,在一个线程中,也可以存在多个协程。

那么,使用协程究竟有什么好处呢?

首先,执行效率高。线程的切换由操作系统内核执行,消耗资源较多。而协程由程序控制,在用户态执行,不需要从用户态切换到内核态,我们也可以理解为,协程是一种进程自身来调度任务的调度模式,因此协程间的切换开销远小于线程切换。

其次,节省资源。因为协程在本质上是通过分时复用了一个单线程,因此能够节省一定的资源。

类似于线程的五种状态切换,协程间也存在状态的切换,下面这张图展示了协程调度器内部任务的流转。

综合上面这些角度来看,和原生支持协程的go比起来,java在多线程并发上还真的是不堪一击。但是,虽然在Java官方的jdk中不能直接使用协程,但是,有其他的开源框架借助动态修改字节码的方式实现了协程,就比如我们接下来要学习的Quasar。

Quasar使用

Quasar是一个开源的Java协程框架,通过利用Java instrument技术对字节码进行修改,使方法挂起前后可以保存和恢复jvm栈帧,方法内部已执行到的字节码位置也通过增加状态机的方式记录,在下次恢复执行可直接跳转至最新位置。

Quasar项目最后更新时间为2018年,版本停留在0.8.0,但是我在直接使用这个版本时报了一个错误:

这个错误的大意就是这个class文件是使用的高版本jdk编译的,所以你在低版本的jdk上当然无法运行了。这里major版本号54对应的是jdk10,而我使用的是jdk8,无奈降级试了一下低版本,果然0.7.10可以使用:

<dependency>
    <groupId>co.paralleluniverse</groupId>
    <artifactId>quasar-core</artifactId>
    <version>0.7.10</version>
</dependency>

在我们做好准备工作后,下面就写几个例子来感受一下协程的魅力吧。

1、运行时间

下面我们模拟一个简单的场景,假设我们有一个任务,平均执行时间为1秒,分别测试一下使用线程和协程并发执行10000次需要消耗多少时间。

先通过线程进行调用,直接使用Executors线程池:

public static void main(String[] args) throws InterruptedException {
    CountDownLatch countDownLatch=new CountDownLatch(10000);
    long start = System.currentTimeMillis();
    ExecutorService executor= Executors.newCachedThreadPool();
    for (int i = 0; i < 10000; i++) {
        executor.submit(() -> {
            try {
                TimeUnit.SECONDS.sleep(1);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            countDownLatch.countDown();
        });
    }
    countDownLatch.await();
    long end = System.currentTimeMillis();
    System.out.println("Thread use:"+(end-start)+" ms");
}

查看运行时间:

好了,下面我们再用Quasar中的协程跑一下和上面相同的流程。这里我们要使用的是Quasar中的Fiber,它可以被翻译为协程纤程,创建Fiber的类型主要可分为下面两类:

public Fiber(String name, FiberScheduler scheduler, int stackSize, SuspendableRunnable target);
public Fiber(String name, FiberScheduler scheduler, int stackSize, SuspendableCallable<V> target);

Fiber中可以运行无返回值的SuspendableRunnable或有返回值的SuspendableCallable,看这个名字也知道区别就是java中的RunnableCallable的区别了。其余参数都可以省略,name为协程的名称,scheduler是调度器,默认使用FiberForkJoinSchedulerstackSize指定用于保存fiber调用栈信息的stack大小。

在下面的代码中,使用了Fiber.sleep()方法进行协程的休眠,和Thread.sleep()非常类似。

public static void main(String[] args) throws InterruptedException {
    CountDownLatch countDownLatch=new CountDownLatch(10000);
    long start = System.currentTimeMillis();

    for (int i = 0; i < 10000; i++) {
        new Fiber<>(new SuspendableRunnable(){
            @Override
            public Integer run() throws SuspendExecution, InterruptedException {
                Fiber.sleep(1000);
                countDownLatch.countDown();
            }
        }).start();
    }

    countDownLatch.await();
    long end = System.currentTimeMillis();
    System.out.println("Fiber use:"+(end-start)+" ms");
}

直接运行,报了一个警告:

QUASAR WARNING: Quasar Java Agent isn't running. If you're using another instrumentation method you can ignore this message; otherwise, please refer to the Getting Started section in the Quasar documentation.

还记得我们前面说过的Quasar生效的原理是基于Java instrument技术吗,所以这里需要给它添加一个代理Agent。找到本地maven仓库中已经下好的jar包,在VM options中添加参数:

-javaagent:E:\Apache\maven-repository\co\paralleluniverse\quasar-core\0.7.10\quasar-core-0.7.10.jar

这次运行时就没有提示警告了,查看一下运行时间:

运行时间只有使用线程池时的一半多一点,确实能大大缩短程序的效率。

2、内存占用

在测试完运行时间后,我们再来测试一下运行内存占用的对比。通过下面代码尝试在本地启动100万个线程:

public static void main(String[] args) {
    for (int i = 0; i < 1000000; i++) {
        new Thread(() -> {
            try {
                Thread.sleep(100000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }).start();
    }
}

本来以为会报OutOfMemoryError,但是没想到的是我的电脑直接直接卡死了…而且不是一次,试了几次都是以卡死只能重启电脑而结束。好吧,我选择放弃,那么下面再试试启动100万个Fiber协程。

public static void main(String[] args) throws Exception {
    CountDownLatch countDownLatch=new CountDownLatch(10000);
    for (int i = 0; i < 1000000; i++) {
        int finalI = i;
        new Fiber<>((SuspendableCallable<Integer>)()->{
            Fiber.sleep(100000);
            countDownLatch.countDown();
            return finalI;
        }).start();
    }
    countDownLatch.await();
    System.out.println("end");
}

程序能够正常执行结束,看样子使用的内存真的比线程少很多。上面我故意使每个协程结束的时间拖得很长,这样我们就可以在运行过程中使用Java VisualVM查看内存的占用情况了:

可以看到在使用Fiber的情况下只使用了1G多一点的内存,平均到100万个协程上也就是说每个Fiber只占用了1Kb左右的内存空间,和Thread线程比起来真的是非常的轻量级。

从上面这张图中我们也可以看到,运行了非常多的ForkJoinPool,它们又起到了什么作用呢?我们在前面说过,协程是由程序控制在用户态进行切换,而Quasar中的调度器就使用了一个或多个ForkJoinPool来完成对Fiber的调度。

3、原理与应用

这里简单介绍一下Quasar的原理,在编译时框架会对代码进行扫描,如果方法带有@Suspendable注解,或抛出了SuspendExecution,或在配置文件META-INF/suspendables中指定该方法,那么Quasar就会修改生成的字节码,在park挂起方法的前后,插入一些字节码。

这些字节码会记录此时协程的执行状态,例如相关的局部变量与操作数栈,然后通过抛出异常的方式将cpu的控制权从当前协程交回到控制器,此时控制器可以再调度另外一个协程运行,并通过之前插入的那些字节码恢复当前协程的执行状态,使程序能继续正常执行。

回头看一下前面例子中的SuspendableRunnableSuspendableCallable,它们的run方法上都抛出了SuspendExecution,其实这并不是一个真正的异常,仅作为识别挂起方法的声明,在实际运行中不会抛出。当我们创建了一个Fiber,并在其中调用了其他方法时,如果想要Quasar的调度器能够介入,那么必须在使用时层层抛出这个异常或添加注解。

看一下简单的代码书写的示例:

public void request(){
    new Fiber<>(new SuspendableRunnable() {
        @Override
        public void run() throws SuspendExecution, InterruptedException {
            String content = sendRequest();
            System.out.println(content);
        }
    }).start();
}
private String sendRequest() throws SuspendExecution {
    return realSendRequest();
}
private String realSendRequest() throws SuspendExecution{
    HttpResponse response = HttpRequest.get("http://127.0.0.1:6879/name").execute();
    String content = response.body();
    return content;
}

需要注意的是,如果在方法内部已经通过try/catch的方式捕获了Exception,也应该再次手动抛出这个SuspendExecution异常。

总结

本文介绍了Quasar框架的简单使用,其具体的实现原理比较复杂,暂时就不在这里进行讨论,后面打算单独拎出来进行分析。另外,目前已经有不少其他的框架中已经集成了Quasar,例如同样是Parallel Universe下的Comsat项目,能够提供了HTTP和DB访问等功能。

虽然现在想要在Java中使用协程还只能使用这样的第三方的框架,但是也不必灰心,在OpenJDK 16中已经加入了一个名为Project Loom的项目, 在OpenJDK Wiki上可以看到对它的介绍,它将使用Fiber轻量级用户模式线程,从jvm层面对多线程技术进行彻底的改变,使用新的编程模型,使轻量级线程的并发也能够适用于高吞吐量的业务场景。

到此这篇关于Java 协程 Quasar详解的文章就介绍到这了,更多相关Java Quasar内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • java基于quasar实现协程池的方法示例

    业务场景:golang与swoole都拥抱了协程,在同任务并发数量下,协程可比线程多几倍.所以最近在查询java时了解java本身是没有协程的,但是某牛自行实现了协程,也就是本文的主角quasar(纤程)!在csdn中基本都是对它的基本使用,用法和线程差不多.不过没看到谁公开一下手写协程池的骚操作(谁会直接new它用?那是没挨过社会的毒打呀~) 一个线程可以多个协程,一个进程也可以单独拥有多个协程. 线程进程都是同步机制,而协程则是异步. 协程能保留上一次调用时的状态,每次过程重入时,就相当于进

  • java协程框架quasar和kotlin中的协程对比分析

    目录 前言 快速体验 添加依赖 添加javaagent 线程VS协程 协程代码 多线程代码 协程完胜 后记 前言 早就听说Go语言开发的服务不用任何架构优化,就可以轻松实现百万级别的qps.这得益于Go语言级别的协程的处理效率.协程不同于线程,线程是操作系统级别的资源,创建线程,调度线程,销毁线程都是重量级别的操作.而且线程的资源有限,在java中大量的不加限制的创建线程非常容易将系统搞垮.接下来要分享的这个开源项目,正是解决了在java中只能使用多线程模型开发高并发应用的窘境,使得java也能

  • Java 协程 Quasar详解

    目录 前言 协程是什么? Quasar使用 1.运行时间 2.内存占用 3.原理与应用 总结 前言 在编程语言的这个圈子里,各种语言之间的对比似乎就一直就没有停过,像什么古早时期的"PHP是世界上最好的语言"就不提了,最近我在摸鱼的时候,看到不少文章都在说"Golang性能吊打Java".作为一个写了好几年java的javaer,这我怎么能忍?于是在网上看了一些对比golang和java的文章,其中戳中java痛点.也是golang被吹上天的一条,就是对多线程并发的

  • Golang控制通道实现协程等待详解

    目录 前言 方法一-睡眠等待 方法二-通道 什么是通道 通道的特性 什么是非缓冲通道 什么是缓冲通道 通道的简单使用 非缓冲通道 缓冲通道 小心死锁 使用通道实现协程等待 前言 上一次简单了解了协程的工作原理 前文链接 最后提到了几个使用协程时会遇到的问题,其中一个就是主线程不会等待子线程结束,在这里记录两种比较简单的方法,并借此熟悉下通道的概念. 方法一-睡眠等待 简单暴力的解决方案,在创建了子协程之后,主协程等待一段时间再结束. func goroutineTest(i int) { fmt

  • Go使用select切换协程入门详解

    目录 前言 程序示例 select 特性预览 管道读写 总结 前言 在 Go 中,可以通过关键字 select 来完成从不同的并发执行的协程中获取值,它和 switch 控制语句非常相似,也被称作通信开关:它的行为像是“你准备好了吗”的轮询机制: select 监听进入通道的数据,也可以是用通道发送值的时候. select 是 Go 在语言层面提供的多路 I/O 复用机制,用于检测多个管道是否就绪(即可读或可写),其特性与管道息息相关. 语法格式: select { case u:= <- ch

  • Python的进程,线程和协程实例详解

    目录 相关介绍 实验环境 进程 多进程 用进程池对多进程进行操作 线程 使用_thread模块实现 使用threading模块实现 协程 使用asyncio模块实现 总结 相关介绍 Python是一种跨平台的计算机程序设计语言.是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言.最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的.大型项目的开发. 例如 实验环境 Python 3.x (面向对象的高级语言) Multiprocessin

  • Java并发之嵌套管程锁死详解

    ·嵌套管程死锁是如何发生的 ·具体的嵌套管程死锁的例子 ·嵌套管程死锁 vs 死锁 嵌套管程锁死类似于死锁, 下面是一个嵌套管程锁死的场景: Thread 1 synchronizes on A Thread 1 synchronizes on B (while synchronized on A) Thread 1 decides to wait for a signal from another thread before continuing Thread 1 calls B.wait()

  • Java同步函数代码详解

    /* 同步函数 当函数中的代码全部放在了同步代码块中,那么这个函数就是同步函数 */ //同步函数的锁是this锁,this是一个引用,this指向的对象就是锁 //下面证明一下同步函数的锁就是this //创建两个线程,一个在同步代码块中执行,另一个在同步函数中执行 //同步代码块用的锁是obj,同步函数用的所是this //这就导致了两个线程存在两把锁,会出现上次所说的安全问题,即出现错误数据 //只有两个线程同时用一把锁,才能解决多线程的安全问题 class Ticket implemen

  • Java中Volatile关键字详解及代码示例

    一.基本概念 先补充一下概念:Java内存模型中的可见性.原子性和有序性. 可见性: 可见性是一种复杂的属性,因为可见性中的错误总是会违背我们的直觉.通常,我们无法确保执行读操作的线程能适时地看到其他线程写入的值,有时甚至是根本不可能的事情.为了确保多个线程之间对内存写入操作的可见性,必须使用同步机制. 可见性,是指线程之间的可见性,一个线程修改的状态对另一个线程是可见的.也就是一个线程修改的结果.另一个线程马上就能看到.比如:用volatile修饰的变量,就会具有可见性.volatile修饰的

  • Java多线程同步器代码详解

    同步器 为每种特定的同步问题提供了解决方案,同步器是一些使线程能够等待另一个线程的对象,允许它们协调动作.最常用的同步器是CountDownLatch和Semaphore,不常用的是Barrier 和Exchanger Semaphore Semaphore[信号标:旗语],通过计数器控制对共享资源的访问. 测试类: package concurrent; import concurrent.thread.SemaphoreThread; import java.util.concurrent.

  • java ThreadLocal使用案例详解

    本文借由并发环境下使用线程不安全的SimpleDateFormat优化案例,帮助大家理解ThreadLocal. 最近整理公司项目,发现不少写的比较糟糕的地方,比如下面这个: public class DateUtil { private final static SimpleDateFormat sdfyhm = new SimpleDateFormat( "yyyyMMdd"); public synchronized static Date parseymdhms(String

随机推荐