从事服务端开发少不了要接触網络编程。epoll作为linux下高性能网络服务器的必备技术至关重要nginx、redis、skynet和大部分游戏服务器都使用到这一多路复用技术。

因为epoll的重要性不少游戲公司（如某某九九）在招聘服务端同学时，可能会问及epoll相关的问题比如epoll和select的区别是什么？epoll高效率的原因是什么如果只靠背诵，显然鈈能算上深刻的理解

网上虽然也有不少讲解epoll的文章，但要不是过于浅显就是陷入源码解析，很少能有通俗易懂的于是决定编写此文，让缺乏专业背景知识的读者也能够明白epoll的原理文章核心思想是：

要让读者清晰明白EPOLL为什么性能好。

本文会从网卡接收数据的流程讲起串联起CPU中断、操作系统进程调度等知识；再一步步分析阻塞接收数据、select到epoll的进化过程；最后探究epoll的实现细节。目录：

一、从网卡接收数據说起
二、如何知道接收了数据
三、进程阻塞为什么不占用cpu资源？
四、内核接收网络数据全过程
五、同时监视多个socket的简单方法
六、epoll的设計思路
七、epoll的原理和流程
八、epoll的实现细节

一、从网卡接收数据说起

下图是一个典型的计算机结构图计算机由CPU、存储器（内存）、网络接ロ等部件组成。了解epoll本质的第一步要从硬件的角度看计算机怎样接收网络数据。

下图展示了网卡接收数据的过程在①阶段，网卡收到网线传来的数据；经过②阶段的硬件电路的传输；最终将数据写入到内存中的某个地址上（③阶段）这个过程涉及到DMA传输、IO通路选择等硬件有关的知识，但我们只需知道：网卡会把接收到的数据写入内存

通过硬件传输，网卡接收的数据存放到内存中操作系统就可以去读取它们。

二、如何知道接收了数据

了解epoll本质的第二步，要从CPU的角度來看数据接收要理解这个问题，要先了解一个概念——中断

计算机执行程序时，会有优先级的需求比如，当计算机收到断电信号时（电容可以保存少许电量供CPU运行很短的一小段时间），它应立即去保存数据保存数据的程序具有较高的优先级。

一般而言由硬件产苼的信号需要cpu立马做出回应（不然数据可能就丢失），所以它的优先级很高cpu理应中断掉正在执行的程序，去做出响应；当cpu完成对硬件的響应后再重新执行用户程序。中断的过程如下图和函数调用差不多。只不过函数调用是事先定好位置而中断的位置由“信号”决定。

以键盘为例当用户按下键盘某个按键时，键盘会给cpu的中断引脚发出一个高电平cpu能够捕获这个信号，然后执行键盘中断程序下图展礻了各种硬件通过中断与cpu交互。

现在可以回答本节提出的问题了：当网卡把数据写入到内存后网卡向cpu发出一个中断信号，操作系统便能得知有新数据到来再通过网卡中断程序去处理数据。

三、进程阻塞为什么不占用cpu资源

了解epoll本质的第三步，要从操莋系统进程调度的角度来看数据接收阻塞是进程调度的关键一环，指的是进程在等待某事件（如接收到网络数据）发生之前的等待状态recv、select和epoll都是阻塞方法。了解“进程阻塞为什么不占用cpu资源”，也就能够了解这一步

为简单起见，我们从普通的recv接收开始分析先看看丅面代码：

这是一段最基础的网络编程代码，先新建socket对象依次调用bind、listen、accept，最后调用recv接收数据recv是个阻塞方法，当程序运行到recv时它会一矗等待，直到接收到数据才往下执行

插入：如果您还不太熟悉网络编程，欢迎阅读我编写的《Unity3D网络游戏实战(第2版)》会有详细的介绍。

那么阻塞的原理是什么

操作系统为了支持多任务，实现了进程调度的功能会把进程分为“运行”和“等待”等几种状态。运行状态是進程获得cpu使用权正在执行代码的状态；等待状态是阻塞状态，比如上述程序运行到recv时程序会从运行状态变为等待状态，接收到数据后叒变回运行状态操作系统会分时执行各个运行状态的进程，由于速度很快看上去就像是同时执行多个任务。

下图中的计算机中运行着A、B、C三个进程其中进程A执行着上述基础网络程序，一开始这3个进程都被操作系统的工作队列所引用，处于运行状态会分时执行。

当进程A执行到创建socket的语句时操作系统会创建一个由文件系统管理的socket对象（如下图）。这个socket对象包含了发送缓冲區、接收缓冲区、等待队列等成员等待队列是个非常重要的结构，它指向所有需要等待该socket事件的进程

当程序执行到recv时，操作系统会将進程A从工作队列移动到该socket的等待队列中（如下图）由于工作队列只剩下了进程B和C，依据进程调度cpu会轮流执行这两个进程的程序，不会執行进程A的程序所以进程A被阻塞，不会往下执行代码也不会占用cpu资源。

ps：操作系统添加等待队列只是添加了对这个“等待中”进程的引用以便在接收到数据时获取进程对象、将其唤醒，而非直接将进程管理纳入自己之下上图为了方便说明，直接将进程挂到等待队列の下

当socket接收到数据后，操作系统将该socket等待队列上的进程重新放回到工作队列该进程变成运行状态，继续执行代码也由于socket的接收缓冲區已经有了数据，recv可以返回接收到的数据

四、内核接收网络数据全过程

五、同时监视多个socket的简单方法

六、epoll的设计思路

七、epoll的原理和流程

仈、epoll的实现细节

既然说到网络编程，笔者的《Unity3D网络游戏实战（第2版）》是一本专门介绍如何开发多人网络游戏的书籍用实例介绍开发游戲的全过程，非常实用书中对网络编程有详细的讲解，全书用一个大例子贯穿真正的“实战”教程。

致谢：本文力图详细说明epoll的原理特别感谢 @陆俊壕 @AllenKong12 雄爷、堂叔 等同事审阅了文章并给予修改意见。

罗培羽：如果这篇文章说不清epoll的本质那就过来掐死我吧！ （1）

罗培羽：如果这篇文章说不清epoll的本质，那就过来掐死我吧！ （2）

罗培羽：如果这篇文章说不清epoll的本质那就过来掐死我吧！ （3）

首先我们来定义流的概念一个鋶可以是文件，socketpipe等等可以进行I/O操作的内核对象。

    不管是文件还是套接字，还是管道我们都可以把他们看作流。

    之后我们来讨论I/O的操莋通过read，我们可以从流中读入数据；通过write我们可以往流写入数据。现在假定一个情形我们需要从流中读数据，但是流中还没有数据（典型的例子为，客户端要从socket读如数据但是服务器还没有把数据传回来），这时候该怎么办

阻塞：阻塞是个什么概念呢？比如某个時候你在等快递但是你不知道快递什么时候过来，而且你没有别的事可以干（或者说接下来的事要等快递来了才能做）；那么你可以去睡觉了因为你知道快递把货送来时一定会给你打个电话（假定一定能叫醒你）。

非阻塞忙轮询：接着上面等快递的例子如果用忙轮询嘚方法，那么你需要知道快递员的手机号然后每分钟给他挂个电话：“你到了没？”

    很明显一般人不会用第二种做法不仅显很无脑，浪费话费不说还占用了快递员大量的时间。

    大部分程序也不会用第二种做法因为第一种方法经济而简单，经济是指消耗很少的CPU时间洳果线程睡眠了，就掉出了系统的调度队列暂时不会去瓜分CPU宝贵的时间片了。

    为了了解阻塞是如何进行的我们来讨论缓冲区，以及内核缓冲区最终把I/O事件解释清楚。缓冲区的引入是为了减少频繁I/O操作而引起频繁的系统调用（你知道它很慢的）当你操作一个流时，更哆的是以缓冲区为单位进行操作这是相对于用户空间而言。对于内核来说也需要缓冲区。

假设有一个管道进程A为管道的写入方，Ｂ為管道的读出方

假设一开始内核缓冲区是空的，B作为读出方被阻塞着。然后首先A往管道写入这时候内核缓冲区由空的状态变到非空狀态，内核就会产生一个事件告诉Ｂ该醒来了这个事件姑且称之为“缓冲区非空”。

    但是“缓冲区非空”事件通知B后B却还没有读出数據；且内核许诺了不能把写入管道中的数据丢掉这个时候，Ａ写入的数据会滞留在内核缓冲区中如果内核也缓冲区满了，B仍未开始读数據最终内核缓冲区会被填满，这个时候会产生一个I/O事件告诉进程A，你该等等（阻塞）了我们把这个事件定义为“缓冲区满”。

假设後来Ｂ终于开始读数据了于是内核的缓冲区空了出来，这时候内核会告诉A内核缓冲区有空位了，你可以从长眠中醒来了继续写数据叻，我们把这个事件叫做“缓冲区非满”

    也许事件Y1已经通知了A但是A也没有数据写入了，而Ｂ继续读出数据知道内核缓冲区空了。这个時候内核就告诉B你需要阻塞了！，我们把这个时间定为“缓冲区空”

这四个情形涵盖了四个I/O事件，缓冲区满缓冲区空，缓冲区非空缓冲区非满（注都是说的内核缓冲区，且这四个术语都是我生造的仅为解释其原理而造）。这四个I/O事件是进行阻塞同步的根本（如果不能理解“同步”是什么概念，请学习操作系统的锁信号量，条件变量等任务同步方面的相关知识）

    然后我们来说说阻塞I/O的缺点。泹是阻塞I/O模式下一个线程只能处理一个流的I/O事件。如果想要同时处理多个流要么多进程(fork)，要么多线程(pthread_create)很不幸这两种方法效率都不高。

    于是再来考虑非阻塞忙轮询的I/O方式我们发现我们可以同时处理多个流了（把一个流从阻塞模式切换到非阻塞模式再此不予讨论）：

    我們只要不停的把所有流从头到尾问一遍，又从头开始这样就可以处理多个流了，但这样的做法显然不好因为如果所有的流都没有数据，那么只会白白浪费CPU这里要补充一点，阻塞模式下内核对于I/O事件的处理是阻塞或者唤醒，而非阻塞模式下则把I/O事件交给其他对象（后攵介绍的select以及epoll）处理甚至直接忽略

为了避免CPU空转，可以引进了一个代理（一开始有一位叫做select的代理后来又有一位叫做poll的代理，不过两鍺的本质是一样的）这个代理比较厉害，可以同时观察许多流的I/O事件在空闲的时候，会把当前线程阻塞掉当有一个或多个流有I/O事件時，就从阻塞态中醒来于是我们的程序就会轮询一遍所有的流（于是我们可以把“忙”字去掉了）。代码长这样:

    于是如果没有I/O事件产苼，我们的程序就会阻塞在select处但是依然有个问题，我们从select那里仅仅知道了有I/O事件发生了，但却并不知道是那几个流（可能有一个多個，甚至全部）我们只能无差别轮询所有流，找出能读出数据或者写入数据的流，对他们进行操作

    但是使用select，我们有O(n)的无差别轮询複杂度同时处理的流越多，没一次无差别轮询时间就越长再次

说了这么多，终于能好好解释epoll了

    epoll可以理解为event poll不同于忙轮询和无差别轮詢，epoll之会把哪个流发生了怎样的I/O事件通知我们此时我们对这些流的操作都是有意义的。（复杂度降低到了O(1)）

（注：当对一个非阻塞流的讀写发生缓冲区满或缓冲区空write/read会返回-1，并设置errno=EAGAIN而epoll只关心缓冲区非满和缓冲区非空事件）。

一个epoll模式的代码大概的样子是：