解析Linux高性能网络IO和Reactor模型

目录
  • 一、基本概念介绍
  • 二、网络IO的读写过程
  • 三、Linux五种网络IO模型
    • 3.1、阻塞式I/O (blocking IO)
    • 3.2、非阻塞式I/O (nonblocking IO)
    • 3.3、多路复用I/O (IO multiplexing)
    • 3.4、信号驱动式I/O (SIGIO)
    • 3.5、异步IO (POSIX的aio_系列函数)
  • 四、多路复用IO深入理解一波
    • 4.1、select
    • 4.2、epoll
    • 4.3、epoll相比select的优点
    • 4.4、关于epoll的IO模型是同步异步的疑问
  • 五、Reactor模型
    • 5.1、相关概念介绍
    • 5.2、Reactor的一般流程
    • 5.3、单线程 + Reactor
    • 5.4、多线程 + Reactor
    • 5.5、多线程 + 多个Reactor
  • 六、Proactor模型的一般流程
    • 6.1、Proactor和Reactor的区别

一、基本概念介绍

  • 进程(线程)切换:所有系统都有调度进程的能力,它可以挂起一个当前正在运行的进程,并恢复之前挂起的进程
  • 进程(线程)的阻塞:运行中的进程,有时会等待其他事件的执行完成,比如等待锁,请求I/O的读写;进程在等待过程会被系统自动执行阻塞,此时进程不占用CPU
  • 文件描述符:在Linux,文件描述符是一个用于表述指向文件引用的抽象化概念,它是一个非负整数。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符
  • linux信号处理:Linux进程运行中可以接受来自系统或者进程的信号值,然后根据信号值去运行相应捕捉函数;信号相当于是硬件中断的软件模拟

在零拷贝机制篇章已介绍过 用户空间和内核空间和缓冲区,这里就省略了

二、网络IO的读写过程

  • 当在用户空间发起对socket套接字的读操作时,会导致上下文切换,用户进程阻塞(R1)等待网络数据流到来,从网卡复制到内核;(R2)然后从内核缓冲区向用户进程缓冲区复制。此时进程切换恢复,处理拿到的数据
  • 这里我们给socket读操作的第一阶段起个别名R1,第二阶段称为R2
  • 当在用户空间发起对socket的send操作时,导致上下文切换,用户进程阻塞等待(1)数据从用户进程缓冲区复制到内核缓冲区。数据copy完成,此时进程切换恢复

三、Linux五种网络IO模型

3.1、阻塞式I/O (blocking IO)

ssize_t recvfrom(int sockfd,void *buf,size_t len,unsigned int flags, struct sockaddr *from,socket_t *fromlen);

  • 最基础的I/O模型就是阻塞I/O模型,也是最简单的模型。所有的操作都是顺序执行的
  • 阻塞IO模型中,用户空间的应用程序执行一个系统调用(recvform),会导致应用程序被阻塞,直到内核缓冲区的数据准备好,并且将数据从内核复制到用户进程。最后进程才被系统唤醒处理数据
  • 在R1、R2连续两个阶段,整个进程都被阻塞

3.2、非阻塞式I/O (nonblocking IO)

  • 非阻塞IO也是一种同步IO。它是基于轮询(polling)机制实现,在这种模型中,套接字是以非阻塞的形式打开的。就是说I/O操作不会立即完成,但是I/O操作会返回一个错误代码(EWOULDBLOCK),提示操作未完成
  • 轮询检查内核数据,如果数据未准备好,则返回EWOULDBLOCK。进程再继续发起recvfrom调用,当然你可以暂停去做其他事
  • 直到内核数据准备好,再拷贝数据到用户空间,然后进程拿到非错误码数据,接着进行数据处理。需要注意,拷贝数据整个过程,进程仍然是属于阻塞的状态
  • 进程在R2阶段阻塞,虽然在R1阶段没有被阻塞,但是需要不断轮询

3.3、多路复用I/O (IO multiplexing)

  • 一般后端服务都会存在大量的socket连接,如果一次能查询多个套接字的读写状态,若有任意一个准备好,那就去处理它,效率会高很多。这就是“I/O多路复用”,多路是指多个socket套接字,复用是指复用同一个进程
  • linux提供了select、poll、epoll等多路复用I/O的实现方式
  • select或poll、epoll是阻塞调用
  • 与阻塞IO不同,select不会等到socket数据全部到达再处理,而是有了一部分socket数据准备好就会恢复用户进程来处理。怎么知道有一部分数据在内核准备好了呢?答案:交给了系统系统处理吧
  • 进程在R1、R2阶段也是阻塞;不过在R1阶段有个技巧,在多进程、多线程编程的环境下,我们可以只分配一个进程(线程)去阻塞调用select,其他线程不就可以解放了吗

3.4、信号驱动式I/O (SIGIO)

  • 需要提供一个信号捕捉函数,并和socket套接字关联;发起sigaction调用之后进程就能解放去处理其他事
  • 当数据在内核准备好后,进程会收到一个SIGIO信号,继而中断去运行信号捕捉函数,调用recvfrom把数据从内核读取到用户空间,再处理数据
  • 可以看出用户进程是不会阻塞在R1阶段,但R2还是会阻塞等待

3.5、异步IO (POSIX的aio_系列函数)

  • 相对同步IO,异步IO在用户进程发起异步读(aio_read)系统调用之后,无论内核缓冲区数据是否准备好,都不会阻塞当前进程;在aio_read系统调用返回后进程就可以处理其他逻辑
  • socket数据在内核就绪时,系统直接把数据从内核复制到用户空间,然后再使用信号通知用户进程
  • R1、R2两阶段时进程都是非阻塞的

四、多路复用IO深入理解一波

4.1、select

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

1)使用copy_from_user从用户空间拷贝fd_set到内核空间

2)注册回调函数__pollwait

3)遍历所有fd,调用其对应的poll方法(对于socket,这个poll方法是sock_poll,sock_poll根据情况会调用到tcp_poll,udp_poll或者datagram_poll)

4)以tcp_poll为例,其核心实现就是__pollwait,也就是上面注册的回调函数

5)__pollwait的主要工作就是把current(当前进程)挂到设备的等待队列中,不同的设备有不同的等待队列,对于tcp_poll来说,其等待队列是sk->sk_sleep(注意把进程挂到等待队列中并不代表进程已经睡眠了)。在设备收到一条消息(网络设备)或填写完文件数据(磁盘设备)后,会唤醒设备等待队列上睡眠的进程,这时current便被唤醒了

6)poll方法返回时会返回一个描述读写操作是否就绪的mask掩码,根据这个mask掩码给fd_set赋值

7)如果遍历完所有的fd,还没有返回一个可读写的mask掩码,则会调用schedule_timeout是调用select的进程(也就是current)进入睡眠

8) 当设备驱动发生自身资源可读写后,会唤醒其等待队列上睡眠的进程。如果超过一定的超时时间(timeout指定),还是没人唤醒,则调用select的进程会重新被唤醒获得CPU,进而重新遍历fd,判断有没有就绪的fd

9)把fd_set从内核空间拷贝到用户空间

select的缺点:

  • 每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大
  • 同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大
  • select支持的文件描述符数量太小了,默认是1024

4.2、epoll

int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout); 
  • 调用epoll_create,会在内核cache里建个红黑树用于存储以后epoll_ctl传来的socket,同时也会再建立一个rdllist双向链表用于存储准备就绪的事件。当epoll_wait调用时,仅查看这个rdllist双向链表数据即可
  • epoll_ctl在向epoll对象中添加、修改、删除事件时,是在rbr红黑树中操作的,非常快
  • 添加到epoll中的事件会与设备(如网卡)建立回调关系,设备上相应事件的发生时会调用回调方法,把事件加进rdllist双向链表中;这个回调方法在内核中叫做ep_poll_callback

epoll的两种触发模式:

epoll有EPOLLLT和EPOLLET两种触发模式,LT是默认的模式,ET是“高速”模式(只支持no-block socket)

  • LT(水平触发)模式下,只要这个文件描述符还有数据可读,每次epoll_wait都会触发它的读事件
  • ET(边缘触发)模式下,检测到有I/O事件时,通过 epoll_wait 调用会得到有事件通知的文件描述符,对于文件描述符,如可读,则必须将该文件描述符一直读到空(或者返回EWOULDBLOCK),否则下次的epoll_wait不会触发该事件

4.3、epoll相比select的优点

解决select三个缺点:

  • 对于第一个缺点:epoll的解决方案在epoll_ctl函数中。每次注册新的事件到epoll句柄中时(在epoll_ctl中指定EPOLL_CTL_ADD),会把所有的fd拷贝进内核,而不是在epoll_wait的时候重复拷贝。epoll保证了每个fd在整个过程中只会拷贝一次(epoll_wait不需要复制)
  • 对于第二个缺点:epoll为每个fd指定一个回调函数,当设备就绪,唤醒等待队列上的等待者时,就会调用这个回调函数,而这个回调函数会把就绪的fd加入一个就绪链表。epoll_wait的工作实际上就是在这个就绪链表中查看有没有就绪的fd(不需要遍历)
  • 对于第三个缺点:epoll没有这个限制,它所支持的FD上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右,一般来说这个数目和系统内存关系很大

epoll的高性能:

  • epoll使用了红黑树来保存需要监听的文件描述符事件,epoll_ctl增删改操作快速
  • epoll不需要遍历就能获取就绪fd,直接返回就绪链表即可
  • linux2.6 之后使用了mmap技术,数据不在需要从内核复制到用户空间,零拷贝

4.4、关于epoll的IO模型是同步异步的疑问

概念定义:

  • 同步I/O操作:导致请求进程阻塞,直到I/O操作完成
  • 异步I/O操作:不导致请求进程阻塞,异步只用处理I/O操作完成后的通知,并不主动读写数据,由系统内核完成数据的读写
  • 阻塞,非阻塞:进程/线程要访问的数据是否就绪,进程/线程是否需要等待

异步IO的概念是要求无阻塞I/O调用。前面有介绍到I/O操作分两阶段:R1等待数据准备好。R2从内核到进程拷贝数据。虽然epoll在2.6内核之后采用mmap机制,使得其在R2阶段不需要复制,但是它在R1还是阻塞的。因此归类到同步IO

五、Reactor模型

Reactor的中心思想是将所有要处理的I/O事件注册到一个中心I/O多路复用器上,同时主线程/进程阻塞在多路复用器上;一旦有I/O事件到来或是准备就绪,多路复用器返回,并将事先注册的相应I/O事件分发到对应的处理器中

5.1、相关概念介绍

  • 事件:就是状态;比如:读就绪事件指的是我们可以从内核读取数据的状态
  • 事件分离器:一般会把事件的等待发生交给epoll、select;而事件的到来是随机,异步的,所以需要循环调用epoll,在框架里对应封装起来的模块就是事件分离器(简单理解为对epoll封装)
  • 事件处理器:事件发生后需要进程或线程去处理,这个处理者就是事件处理器,一般和事件分离器是不同的线程

5.2、Reactor的一般流程

1)应用程序在事件分离器注册读写就绪事件和读写就绪事件处理器

2)事件分离器等待读写就绪事件发生

3)读写就绪事件发生,激活事件分离器,分离器调用读写就绪事件处理器

4)事件处理器先从内核把数据读取到用户空间,然后再处理数据

5.3、单线程 + Reactor

5.4、多线程 + Reactor

5.5、多线程 + 多个Reactor

六、Proactor模型的一般流程

1)应用程序在事件分离器注册读完成事件和读完成事件处理器,并向系统发出异步读请求

2)事件分离器等待读事件的完成

3)在分离器等待过程中,系统利用并行的内核线程执行实际的读操作,并将数据复制进程缓冲区,最后通知事件分离器读完成到来

4)事件分离器监听到读完成事件,激活读完成事件的处理器

5)读完成事件处理器直接处理用户进程缓冲区中的数据

6.1、Proactor和Reactor的区别

  • Proactor是基于异步I/O的概念,而Reactor一般则是基于多路复用I/O的概念
  • Proactor不需要把数据从内核复制到用户空间,这步由系统完成

以上就是解析Linux高性能网络IO和Reactor模型的详细内容,更多关于Linux高性能网络IO和Reactor模型的资料请关注我们其它相关文章!

(0)

相关推荐

  • Linux的Socket IO模型趣解

    前言 之前有看到用很幽默的方式讲解Windows的socket IO模型,借用这个故事,讲解下linux的socket IO模型: 老陈有一个在外地工作的女儿,不能经常回来,老陈和她通过信件联系. 他们的信会被邮递员投递到他们小区门口的收发室里.这和Socket模型非常类似. 下面就以老陈接收信件为例讲解linux的 Socket I/O模型. 一.同步阻塞模型 老陈的女儿第一次去外地工作,送走她之后,老陈非常的挂心她安全到达没有: 于是老陈什么也不干,一直在小区门口收发室里等着她女儿的报平安的

  • Linux IO多路复用之epoll网络编程

    前言 本章节是用基本的Linux基本函数加上epoll调用编写一个完整的服务器和客户端例子,可在Linux上运行,客户端和服务端的功能如下: 客户端从标准输入读入一行,发送到服务端 服务端从网络读取一行,然后输出到客户端 客户端收到服务端的响应,输出这一行到标准输出 服务端 代码如下: #include <unistd.h> #include <sys/types.h> /* basic system data types */ #include <sys/socket.h&

  • Linux中的iostat命令使用教程

    前言 话说搞运维的人没有两把"刷子",都不好意思上服务器操作.还好,我还不是搞运维的,我一直都自诩是开发人员,奈何现在的东家运维人员"水"的一比,还要我这个自诩是开发的人撸起袖子亲自上阵,好吧,没有办法,重拾以前的命令,再次走起~~~ 说到运维,那就离不开监控磁盘了.而说到磁盘监控,那又不得不说道说道iostat命令了.这篇文章就对那个我曾经非常熟悉的iostat命令进行详细的总结. 命令详解 Linux系统中的iostat是I/O statistics(输入/输出

  • Linux 下的五种 IO 模型详细介绍

    概念说明 用户空间与内核空间 现在操作系统都是采用虚拟存储器,那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方).操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证用户进程不能直接操作内核(kernel),保证内核的安全,操作系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间.针对linux操作系统而言,将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF),供内核使用,称为内核空

  • 详细介绍Linux IO

    1.IO概述 分析一下写操作: char *buf = malloc(MAX_BUF_SIZE); strncpy(buf, src, , MAX_BUF_SIZE); fwrite(buf, MAX_BUF_SIZE, 1, fp); fclose(fp); 以下图为例:分析数据流写入硬盘的过程 malloc的buf对于图层中的application buffer,即应用程序的buffer; 调用fwrite后,把数据从application buffer 拷贝到了 CLib buffer,即

  • 解析Linux高性能网络IO和Reactor模型

    目录 一.基本概念介绍 二.网络IO的读写过程 三.Linux五种网络IO模型 3.1.阻塞式I/O (blocking IO) 3.2.非阻塞式I/O (nonblocking IO) 3.3.多路复用I/O (IO multiplexing) 3.4.信号驱动式I/O (SIGIO) 3.5.异步IO (POSIX的aio_系列函数) 四.多路复用IO深入理解一波 4.1.select 4.2.epoll 4.3.epoll相比select的优点 4.4.关于epoll的IO模型是同步异步的

  • 解析Linux源码之epoll

    目录 一.前言 二.简单的epoll例子 2.1.epoll_create 2.2.struct eventpoll 2.3.epoll_ctl(add) 2.4.ep_insert 2.5.tfile->f_op->poll的实现 2.6.回调函数的安装 2.7.epoll_wait 2.8.ep_send_events 三.事件到来添加到epoll就绪队列(rdllist)的过程 3.1.可读事件到来 3.2.可写事件到来 四.关闭描述符(close fd) 五.总结 一.前言 在linu

  • 解析linux或android添加文件系统的属性接口的方法

    第一种: 1.添加关键头文件: #include <linux/of_gpio.h> #include <linux/gpio.h> #include <linux/delay.h> #include <linux/module.h> #include <linux/types.h> #include <linux/kobject.h> 2.在已经存在驱动文件中搜索"DEVICE_ATTR"关键字,如果存在,直接参

  • 深入解析Linux下MySQL数据库的备份与还原

    深入解析Linux下MySQL数据库的备份与还原 1. 备份 [root@localhost ~]# cd /var/lib/mysql (进入到MySQL库目录,根据自己的MySQL的安装情况调整目录) [root@localhost mysql]# mysqldump -u root -p voice>voice.sql,输入密码即可. 2. 还原法一:[root@localhost ~]# mysql -u root -p 回车,输入密码,进入MySQL的控制台"mysql>&

  • 解析Linux下C++编译和链接

    编译原理 将如下最简单的C++程序(main.cpp)编译成可执行目标程序,实际上可以分为四个步骤:预处理.编译.汇编.链接,可以通过 g++ main.cpp –v看到详细的过程,不过现在编译器已经把预处理和编译过程合并. 预处理:g++ -E main.cpp -o main.ii,-E表示只进行预处理.预处理主要是处理各种宏展开:添加行号和文件标识符,为编译器产生调试信息提供便利:删除注释:保留编译器用到的编译器指令等. 编译:g++ -S main.ii –o main.s,-S表示只编

  • 解析Linux内核与设备树的编译和烧写

    一.准备材料 可以根据自己的需要准备相应材料: 开发环境:VMware 操作系统:ubuntu 开发版:湃兔i2S-6UB 二.下载Linux内核文件 之前下载过UBoot文件的朋友应该知道,在每个开发版的资料里都有相应的文件,没有的可以找购买开发版的店家要. 下载完成后将文件拷贝到linux系统下进行解压,解压后会的目录如下图所示: 注意:编译时一定要在当前路径下才能编译 三.编译 1.清理项目工程 make ARCH=arm CROSS_COMPILE=arm-linux-gnueabihf

  • 解析Linux内核的基本的模块管理与时间管理操作

    内核模块管理 Linux设备驱动会以内核模块的形式出现,因此学会编写Linux内核模块编程是学习linux设备驱动的先决条件. Linux内核的整体结构非常庞大,其包含的组件非常多.我们把需要的功能都编译到linux内核,以模块方式扩展内核功能. 先来看下最简单的内核模块 #include <linux/init.h> #include <linux/module.h> static int __init hello_init(void) { printk(KERN_ALERT &

  • 解析Linux系统中JVM内存2GB上限的详解

    我们通常使用的JVM都是32位的(64位的JVM会损失10-20%的性能,通常不建议使用),而32位程序的寻址空间应该是4GB才对,为什么Linux上的JVM内存只能使用2GB呢? 经过和JDK研发组的人员沟通,终于弄清楚了一些相关的原因.这个问题存在于早期的一些Linux版本中,特别是内核2.5以前的版本,2.6以后的版本就基本上没有这个问题了.原来这些Linux版本对进程有个对内存2GB的限制,是一个地址连续的内存块大小的上限,而JVM的堆空间(heap size)需要连续的地址空间,因此,

  • 解析Linux下Varnish缓存的配置优化

    Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好. 但与老牌的squid相比,各有各的优劣势,网上大量的相对比较只是在其个人对自己熟悉的应用的最大使用上的发挥而已,可能squid到了有能力的人手上才足以发挥最强大的威力Varnish采用了"Visual Page Cache"技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存.磁盘中交换文件

  • 解析Linux文件夹文件创建、删除

    本篇主要介绍了文件夹文件创建.删除,具体如下: Linux删除文件夹命令 linux删除目录很简单,很多人还是习惯用rmdir,不过一旦目录非空,就陷入深深的苦恼之中,现在使用rm -rf命令即可. 直接rm就可以了,不过要加两个参数-rf 即:rm -rf 目录名字  删除目录.文件 rm(remove) 功能说明:删除文件或目录. 语 法:rm [-dfirv][--help][--version][文件或目录...] 补充说明:执行rm指令可删除文件或目录,如欲删除目录必须加上参数"-r&

随机推荐