Java IO篇之Reactor 网络模型的概念

目录
  • 一、什么是 Reactor 模型:
  • 二、Reactor 模型的分类:
    • 1、单 Reactor 单线程模型:
      • 1.1、处理流程:
      • 1.2、优缺点:
    • 2、单 Reactor 多线程模型:
      • 2.1、处理流程:
      • 2.2、优缺点:
    • 3、主从 Reactor 多线程模型:
      • 3.1、处理流程:
      • 3.2、优缺点:
    • 4、Reactor 优缺点:

一、什么是 Reactor 模型:

The reactor design pattern is an event handling pattern for handling service requests delivered concurrently to a service handler by one or more inputs. The service handler then demultiplexes the incoming requests and dispatches them synchronously to the associated request handlers.

Reactor 模式也叫做反应器设计模式,是一种为处理服务请求并发提交到一个或者多个服务处理器的事件设计模式。当请求抵达后,通过服务处理器将这些请求采用多路分离的方式分发给相应的请求处理器。Reactor 模式主要由 Reactor 和处理器 Handler 这两个核心部分组成,如下图所示,它俩负责的事情如下:

  • Reactor:负责监听和分发事件,事件类型包含连接事件、读写事件;
  • Handler :负责处理事件,如 read -> 业务逻辑 (decode + compute + encode)-> send;

在绝大多数场景下,处理一个网络请求有如下几个步骤:

① read:从 socket 读取数据。
② decode:解码,网络上的数据都是以 byte 的形式进行传输的,要想获取真正的请求,必需解码
③ compute:计算,也就是业务处理。
④ encode:编码,网络上的数据都是以 byte 的形式进行传输的,也就是 socket 只接收 byte,所以必需编码。
⑤ send:发送应答数据

对于Reactor模式来说,每当有一个 Event 输入到 Server 端时,Service Handler 会将其转发(dispatch)相对应的 Handler 进行处理。Reactor 模型中定义的三种角色:

Reactor:派发器,负责监听和分配事件,并将事件分派给对应的 Handler。新的事件包含连接建立就绪、读就绪、写就绪等。

Acceptor:请求连接器,处理客户端新连接。Reactor 接收到 client 端的连接事件后,会将其转发给 Acceptor,由 Acceptor 接收 Client 的连接,创建对应的 Handler,并向 Reactor 注册此 Handler。

Handler:请求处理器,负责事件的处理,将自身与事件绑定,执行非阻塞读/写任务,完成 channel 的读入,完成处理业务逻辑后,负责将结果写出 channel。可用资源池来管理。

模型大致如下图所示:

对于读/写请求,Reactor 模型是按照以下流程处理的:

  • (1)应用程序注册读/写就绪事件和相关联的事件处理器
  • (2)事件分离器等待事件的发生
  • (3)当发生读/写就绪事件的时候,事件分离器调用第一步注册的事件处理器

二、Reactor 模型的分类:

Reactor 模型中的 Reactor 可以是单个也可以是多个,Handler 同样可以是单线程也可以是多线程,所以组合的模式大致有如下三种:

  • 单 Reactor 单线程模型
  • 单 Reactor 多线程模型
  • 主从 Reactor 单线程模型
  • 主从 Reactor 多线程模型

其中第三种的主从Reactor单线程模型没什么实际意义,所以下文就着重介绍其他三种模型

1、单 Reactor 单线程模型:

1.1、处理流程:

(1)Reactor 线程通过 select 监听事件,收到事件后通过 Dispatch 进行分发

(2)如果是连接建立事件,则将事件分发给 Acceptor,Acceptor 会通过 accept() 方法获取连接,并创建一个Handler 对象来处理后续的响应事件

(3)如果是IO读写事件,则 Reactor 会将该事件交由当前连接的 Handler 来处理

(4)Handler 会完成 read -> 业务处理 -> send 的完整业务流程

1.2、优缺点:

单 Reactor 单线程模型的优点在于将所有处理逻辑放在一个线程中实现,没有多线程、进程通信、竞争的问题。但该模型在性能与可靠性方面存在比较严重的问题:

  • ① 性能:只在代码上进行组件的区分,整体操作还是单线程,无法充分利用 CPU 资源,并且 Handler 业务处理部分没有异步,一个 Reactor 既要负责处理连接请求,又要负责处理读写请求,一般来说处理连接请求是很快的,但处理读写请求时涉及到业务逻辑处理,相对慢很多。所以 Reactor 在处理读写请求时,其他请求只能等着,容易造成系统的性能瓶颈
  • ② 可靠性:一旦 Reactor 线程意外中断或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,造成节点故障

所以该单Reactor单进程模型不适用于计算密集型的场景,只适用于业务处理非常快速的场景。Redis的线程模型就是基于单 Reactor 单线程模型实现的,因为 Redis 业务处理主要是在内存中完成,操作的速度是很快的,性能瓶颈不在 CPU 上,所以 Redis 对于命令的处理是单进程的。

2、单 Reactor 多线程模型:

为了解决单Reactor单线程模型存在的性能问题,就演进出了单 Reactor 多线程模型,该模型在事件处理器部分采用了多线程(线程池)

2.1、处理流程:

(1)Reactor 线程通过 select 监听事件,收到事件后通过 Dispatch 进行分发

(2)如果是连接建立事件,则将事件分发给 Acceptor,Acceptor 会通过 accept() 方法获取连接,并创建一个Handler 对象来处理后续的响应事件

(3)如果是IO读写事件,则 Reactor 会将该事件交由当前连接对应的 Handler 来处理

(4)与单Reactor单线程不同的是,Handler 不再做具体业务处理,只负责接收和响应事件,通过 read 接收数据后,将数据发送给后面的 Worker 线程池进行业务处理。

(5)Worker 线程池再分配线程进行业务处理,完成后将响应结果发给 Handler 进行处理。

(6)Handler 收到响应结果后通过 send 将响应结果返回给 Client。

2.2、优缺点:

相对于第一种模型来说,在处理业务逻辑,也就是获取到 IO读写事件之后,交由线程池来处理,Handler 收到响应后通过 send 将响应结果返回给客户端。这样可以降低 Reactor 的性能开销,从而更专注的做事件分发工作了,提升整个应用的吞吐,并且 Handler 使用了多线程模式,可以充分利用 CPU 的性能。但是这个模型存在的问题:

(1)Handler 使用多线程模式,自然带来了多线程竞争资源的开销,同时涉及共享数据的互斥和保护机制,实现比较复杂

(2)单个 Reactor 承担所有事件的监听、分发和响应,对于高并发场景,容易造成性能瓶颈。

3、主从 Reactor 多线程模型:

单Reactor多线程模型解决了 Handler 单线程的性能问题,但是 Reactor 还是单线程的,对于高并发场景还是会有性能瓶颈,所以需要将 Reactor 调整为多线程模式,也就是接下来要介绍的主从 Reactor 多线程模型。主从 Reactor 多线程模型将 Reactor 分成两部分:

(1)MainReactor:只负责处理连接建立事件,通过 select 监听 server socket,将建立的 socketChannel 指定注册给 subReactor,通常一个线程就可以了

(2)SubReactor:负责读写事件,维护自己的 selector,基于 MainReactor 注册的 SocketChannel 进行多路分离 IO 读写事件,读写网络数据,并将业务处理交由 worker 线程池来完成。SubReactor 的个数一般和 CPU 个数相同

3.1、处理流程:

(1)主线程中的 MainReactor 对象通过 select 监听事件,接收到事件后通过 Dispatch 进行分发,如果事件类型为连接建立事件则分发给 Acceptor 进行连接建立

连接建立:

① 从主线程池中随机选择一个 Reactor 线程作为 Acceptor 线程,用于绑定监听端口,接收客户端连接
② Acceptor 线程接收客户端连接请求之后创建新的 SocketChannel,将其注册到主线程池的其它 Reactor 线程上,由其负责接入认证、IP黑白名单过滤、握手等操作。
③ 步骤② 完成之后,业务层的链路正式建立,将 SocketChannel 从主线程池的 Reactor 线程的多路复用器上摘除,重新注册到 SubReactor 线程池的线程上,并创建一个 Handler 用于处理各种连接事件

(2)如果接收到的不是连接建立事件,则分发给 SubReactor,SubReactor 调用当前连接对应的 Handler 进行处理

(3)Handler 通过 read 读取数据后,将数据分发给 Worker 线程池进行业务处理,Worker 线程池则分配线程进行业务处理,完成后将响应结果发给 Handler

(4)Handler 收到响应结果后通过 send 将响应结果返回给 Client

3.2、优缺点:

主从 Reactor 多线程模型的优点在于主线程和子线程分工明确,主线程只负责接收新连接,子线程负责完成后续的业务处理,同时主线程和子线程的交互也很简单,子线程接收主线程的连接后,只管业务处理即可,无须关注主线程,可以直接在子线程将处理结果发送给客户端。

该 Reactor 模型适用于高并发场景,并且 Netty 网络通信框架也是采用这种实现

4、Reactor 优缺点:

(1)响应快,不必为单个同步时间所阻塞,虽然 Reactor 本身依然是同步的;

(2)可以最大程度的避免复杂的多线程及同步问题,并且避免了多线程/进程的切换开销

(3)可扩展性,可以方便地通过增加 Reactor 实例个数来充分利用 CPU 资源;

(4)可复用性,Reactor 模型本身与具体事件处理逻辑无关,具有很高的复用性。

Reacotr 模型是一种非阻塞同步网络模型,除此之外,还有一种 Proactor 的异步网络模型,对 Proactor 感兴趣的读者可以阅读这篇文章:https://blog.csdn.net/a745233700/article/details/122390285

参考文章:

彻底搞懂Reactor模型和Proactor模型 - 云+社区 - 腾讯云

【死磕 NIO】— Reactor 模式就一定意味着高性能吗?

到此这篇关于Java IO篇之Reactor 网络模型的概念的文章就介绍到这了,更多相关java Reactor 网络模型内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Java反应式框架Reactor中的Mono和Flux

    1. 前言 最近写关于响应式编程的东西有点多,很多同学反映对Flux和Mono这两个Reactor中的概念有点懵逼.但是目前Java响应式编程中我们对这两个对象的接触又最多,诸如Spring WebFlux.RSocket.R2DBC.我开始也对这两个对象头疼,所以今天我们就简单来探讨一下它们. 2. 响应流的特点 要搞清楚这两个概念,必须说一下响应流规范.它是响应式编程的基石.他具有以下特点: 响应流必须是无阻塞的.响应流必须是一个数据流.它必须可以异步执行.并且它也应该能够处理背压. 背压是

  • 简单了解Java Netty Reactor三种线程模型

    1. Reactor三种线程模型 1.1. 单线程模型 Reactor单线程模型,指的是所有的IO操作都在同一个NIO线程上面完成,NIO线程的职责如下: 1)作为NIO服务端,接收客户端的TCP连接: 2)作为NIO客户端,向服务端发起TCP连接: 3)读取通信对端的请求或者应答消息: 4)向通信对端发送消息请求或者应答消息. Reactor单线程模型示意图如下所示: Reactor单线程模型 由于Reactor模式使用的是异步非阻塞IO,所有的IO操作都不会导致阻塞,理论上一个线程可以独立处

  • Java网络编程之IO模型阻塞与非阻塞简要分析

    目录 1.阻塞I/O模型 2.非阻塞I/O模型 1.阻塞I/O模型 阻塞IO模型是常见的IO模型,在读写数据时客户端会发生阻塞.阻塞IO模型的工作流程为: 1.1在用户线程发出IO请求之后,内核会检查数据是否就绪,此时用户线程一直阻塞等待内存数据就绪: 1.2在内存数据就绪后,内核将数据复制到用户线程中,并返回I/O执行结果到用户线程,此时用户线程将解除阻塞状态并开始处理数据. 典型的阻塞I/O模型的例子为data= socket.read(),如果内核数据没有就绪, Socket线程就会一直阻

  • Java中多线程Reactor模式的实现

    目录 1. 主服务器 2.IO请求handler+线程池 3.客户端 多线程Reactor模式旨在分配多个reactor每一个reactor独立拥有一个selector,在网络通信中大体设计为负责连接的主Reactor,其中在主Reactor的run函数中若selector检测到了连接事件的发生则dispatch该事件. 让负责管理连接的Handler处理连接,其中在这个负责连接的Handler处理器中创建子Handler用以处理IO请求.这样一来连接请求与IO请求分开执行提高通道的并发量.同时

  • Java Reactor反应器模式使用方法详解

    Reactor反应器模式 到目前为止,高性能网络编程都绕不开反应器模式.很多著名的服务器软件或者中间件都是基于反应器模式实现的,如Nginx.Redis.Netty. 反应器模式是高性能网络编程的必知.必会的模式. Reactor简介 反应器模式由Reactor反应器线程.Handlers处理器两大角色组成: (1)Reactor反应器线程的职责:负责响应IO事件,并且分发到Handlers处理器. (2)Handlers处理器的职责:非阻塞的执行业务处理逻辑. 从上面的反应器模式定义,看不出这

  • Java IO篇之Reactor 网络模型的概念

    目录 一.什么是 Reactor 模型: 二.Reactor 模型的分类: 1.单 Reactor 单线程模型: 1.1.处理流程: 1.2.优缺点: 2.单 Reactor 多线程模型: 2.1.处理流程: 2.2.优缺点: 3.主从 Reactor 多线程模型: 3.1.处理流程: 3.2.优缺点: 4.Reactor 优缺点: 一.什么是 Reactor 模型: The reactor design pattern is an event handling pattern for hand

  • 【Java IO流】字节流和字符流的实例讲解

    字节流和字符流 对于文件必然有读和写的操作,读和写就对应了输入和输出流,流又分成字节和字符流. 1.从对文件的操作来讲,有读和写的操作--也就是输入和输出. 2.从流的流向来讲,有输入和输出之分. 3.从流的内容来讲,有字节和字符之分. 这篇文章先后讲解IO流中的字节流和字符流的输入和输出操作. 一.字节流 1)输入和输出流 首先,字节流要进行读和写,也就是输入和输出,所以它有两个抽象的父类InputStream.OutputStream. InputStream抽象了应用程序读取数据的方式,即

  • Java总结篇系列:Java泛型详解

    一. 泛型概念的提出(为什么需要泛型)? 首先,我们看下下面这段简短的代码: public class GenericTest { public static void main(String[] args) { List list = new ArrayList(); list.add("qqyumidi"); list.add("corn"); list.add(100); for (int i = 0; i < list.size(); i++) { S

  • Java中难理解的四个概念

    前言 Java 是很多人一直在用的编程语言,但是有些 Java 概念是非常难以理解的,哪怕是一些多年的老手,对某些 Java 概念也存在一些混淆和困惑. 所以,在这篇文章里,会介绍四个 Java 中最难理解的四个概念,去帮助开发者更清晰的理解这些概念: 匿名内部类的用法 多线程 如何实现同步 序列化 匿名内部类 匿名内部类又叫匿名类,它有点像局部类(Local Class)或者内部类(Inner Class),只是匿名内部类没有名字,我们可以同时声明并实例化一个匿名内部类. 一个匿名内部类仅适用

  • Java IO流之节点流与字符流的相关知识总结

    一.File file是文件和目录路径名的抽象表示 1.1 File的用法 用法: File file = new File("路径名"); //如 File file = new File("L:\\FileTestDemo\\AAA\\aaa.txt"); 注意:在windows中,路径名不能使用单个的\,单个的\为转义字符,可以使用\\,//或/ 1.2 File的常用方法 1.boolean createNewFile() 当且仅当具有此名称的文件尚不存在时

  • 新手了解java IO基础知识(二)

    目录 一.IO概念 1.什么是输入 2.什么输出(Output) 二.流的分类 1.InputStream(字节流) 2.OutputStream(字节流) 3.Reader(字符流) 4.Writer(字符流) 三.总结(1+2) 1. File类及方法的使用 2.IO流的分类 3.IO流的四个基本类 总结 一.IO概念 I/O 即输入Input/ 输出Output的缩写,其实就是计算机调度把各个存储中(包括内存和外部存储)的数据写入写出 java中用"流(stream)"来抽象表示

  • Java IO流深入理解

    目录 阻塞(Block)和非阻塞(Non-Block) 同步(Synchronization)和异步(Asynchronous) BIO与NIO对比 面向流与面向缓冲 阻塞与非阻塞 选择器的问世 Java NIO三件套 缓冲区Buffer Buffer的基本的原理 缓冲区分配 选择器Selector 通道Channel 使用NIO读取数据 使用NIO写入数据 IO多路复用 总结 阻塞(Block)和非阻塞(Non-Block) 阻塞和非阻塞是进程在访问数据的时候,数据是否准备就绪的一种处理方式,

  • 新手了解java IO基础知识

    目录 一.File类 1.简介 2.创建方式 3.常用方法 二.IO概念 1.什么是输入 2.什么输出(Output) 三.流的分类 1.InputStream(字节流) 2.OutputStream(字节流) 3.Reader(字符流) 4.Writer(字符流) 四.总结(1+2) 1. File类及方法的使用 2.IO流的分类 3.IO流的四个基本类 总结 一.File类 1.简介 java.io.File类:文件和文件目录路径的抽象表示形式,与平台无关 File 能新建.删除.重命名文件

  • java IO 字节流详解及实例代码

    java IO 字节流详解 1.         如何理解输入输出流? 这是我当初在学习Java IO这一块很难理解的一块,输入输出流我们可必须以一个为参照物:我们以内存为参照物,凡是写入内存的我们叫输入流,从内存中写出的我们叫输出流.看下面的示例图 有了这样的一个概念对于我们再学习Java中的IO流我相信就会变得特别简单了. 2.         再看流的分类 流的分类,Java的流分类比较丰富,刚接触的人看了后会感觉很晕.流分类的方式很多: 1.按照输入的方向分,输入流和输出流,输入输出的参

随机推荐