深入探究一下Nginx如此之快的原因

Nginx (“engine x”) 是一个高性能的 HTTP 和 反向代理 服务器 ,也是一个 IMAP/POP3/SMTP 代理 服务器 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。

Nginx 的进程模型

Nginx 服务器,正常运行过程中

1.多进程:一个 Master 进程、多个 Worker 进程 2.Master 进程:管理 Worker 进程 3.对外接口:接收外部的操作(信号) 4.对内转发:根据外部的操作的不同,通过信号管理 Worker 5.监控:监控 worker 进程的运行状态,worker 进程异常终止后,自动重启 worker 进程 6.Worker 进程:所有 Worker 进程都是平等的 7.实际处理:网络请求,由 Worker 进程处理; 8.Worker 进程数量:在 nginx.conf 中配置,一般设置为核心数,充分利用 CPU 资源,同时,避免进程数量过多,避免进程竞争 CPU 资源,增加上下文切换的损耗。

思考:

1.请求是连接到 Nginx,Master 进程负责处理和转发? 2.如何选定哪个 Worker 进程处理请求?请求的处理结果,是否还要经过 Master 进程?

HTTP 连接建立和请求处理过程

1.Nginx 启动时,Master 进程,加载配置文件 2.Master 进程,初始化监听的 socket 3.Master 进程,fork 出多个 Worker 进程 4.Worker 进程,竞争新的连接,获胜方通过三次握手,建立 Socket 连接,并处理请求

Nginx 高性能、高并发

1.Nginx 采用:多进程 + 异步非阻塞方式(IO 多路复用 epoll) 2.请求的完整过程: 3.建立连接 4.读取请求:解析请求 5.处理请求 6.响应请求 7.请求的完整过程,对应到底层,就是:读写 socket 事件

Nginx 的事件处理模型

request:Nginx 中 http 请求。

基本的 HTTP Web Server 工作模式:

1.接收请求:逐行读取请求行和请求头,判断段有请求体后,读取请求体 2.处理请求 3.返回响应:根据处理结果,生成相应的 HTTP 请求(响应行、响应头、响应体) Nginx 也是这个套路,整体流程一致。

模块化体系结构

nginx的模块根据其功能基本上可以分为以下几种类型:

1.event module: 搭建了独立于操作系统的事件处理机制的框架,及提供了各具体事件的处理。包括ngx_events_module, ngx_event_core_module和ngx_epoll_module等。nginx具体使用何种事件处理模块,这依赖于具体的操作系统和编译选项。 2.phase handler: 此类型的模块也被直接称为handler模块。主要负责处理客户端请求并产生待响应内容,比如ngx_http_static_module模块,负责客户端的静态页面请求处理并将对应的磁盘文件准备为响应内容输出。 3.output filter: 也称为filter模块,主要是负责对输出的内容进行处理,可以对输出进行修改。例如,可以实现对输出的所有html页面增加预定义的footbar一类的工作,或者对输出的图片的URL进行替换之类的工作。 4.upstream: upstream模块实现反向代理的功能,将真正的请求转发到后端服务器上,并从后端服务器上读取响应,发回客户端。upstream模块是一种特殊的handler,只不过响应内容不是真正由自己产生的,而是从后端服务器上读取的。 5.load-balancer: 负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。

常见问题剖析

Nginx vs. Apache

网络 IO 模型:

1.nginx:IO 多路复用,epoll(freebsd 上是 kqueue ) 2.高性能 3.高并发 4.占用系统资源少 5.apache:阻塞 + 多进程/多线程 6.更稳定,bug 少 7.模块更丰富

场景:

处理多个请求时,可以采用:IO 多路复用 或者 阻塞 IO +多线程

IO 多路服用:一个 线程,跟踪多个 socket 状态,哪个就绪,就读写哪个; 阻塞 IO + 多线程:每一个请求,新建一个服务线程

思考:IO 多路复用 和 多线程 的适用场景?

IO 多路复用:单个连接的请求处理速度没有优势,适合 IO 密集型 场景,事件驱动 大并发量:只使用一个线程,处理大量的并发请求,降低上下文环境切换损耗,也不需要考虑并发问题,相对可以处理更多的请求; 消耗更少的系统资源(不需要线程调度开销) 适用于长连接的情况(多线程模式长连接容易造成线程过多,造成频繁调度) 阻塞IO + 多线程:实现简单,可以不依赖系统调用,适合 CPU 密集型 场景 每个线程,都需要时间和空间; 线程数量增长时,线程调度开销指数增长

Nginx 最大连接数

基础背景:

1.Nginx 是多进程模型,Worker 进程用于处理请求; 2.单个进程的连接数(文件描述符 fd),有上限(nofile):ulimit -n 3.Nginx 上配置单个 worker 进程的最大连接数:worker_connections 上限为 nofile 4.Nginx 上配置 worker 进程的数量:worker_processes

因此,Nginx 的最大连接数:

1.Nginx 的最大连接数:Worker 进程数量 x 单个 Worker 进程的最大连接数 2.上面是 Nginx 作为通用服务器时,最大的连接数 3.Nginx 作为反向代理服务器时,能够服务的最大连接数:(Worker 进程数量 x 单个 Worker 进程的最大连接数)/ 2。 4.Nginx 反向代理时,会建立 Client 的连接和后端 Web Server 的连接,占用 2 个连接

思考:

每打开一个 socket 占用一个 fd

为什么,一个进程能够打开的 fd 数量有限制?

IO 模型

场景:

处理多个请求时,可以采用:IO 多路复用 或者 阻塞 IO +多线程

IO 多路复用:一个 线程,跟踪多个 socket 状态,哪个就绪,就读写哪个; 阻塞 IO + 多线程:每一个请求,新建一个服务线程

思考: IO 多路复用 和 多线程 的适用场景?

IO 多路复用:单个连接的请求处理速度没有优势 大并发量:只使用一个线程,处理大量的并发请求,降低上下文环境切换损耗,也不需要考虑并发问题,相对可以处理更多的请求; 消耗更少的系统资源(不需要线程调度开销) 适用于长连接的情况(多线程模式长连接容易造成线程过多,造成频繁调度) 阻塞IO + 多线程:实现简单,可以不依赖系统调用。 每个线程,都需要时间和空间; 线程数量增长时,线程调度开销指数增长

select/poll 和 epoll 比较

详细内容,参考:

select poll epoll三者之间的比较

select/poll 系统调用:

// select 系统调用

int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);

// poll 系统调用

int poll(struct pollfd fds[], nfds_t nfds, int timeout);

select:

查询 fd_set 中,是否有就绪的 fd,可以设定一个超时时间,当有 fd (File descripter) 就绪或超时返回; fd_set 是一个位集合,大小是在编译内核时的常量,默认大小为 1024 特点: 连接数限制,fd_set 可表示的 fd 数量太小了; 线性扫描:判断 fd 是否就绪,需要遍历一边 fd_set; 数据复制:用户空间和内核空间,复制连接就绪状态信息

poll:

解决了连接数限制: poll 中将 select 中的 fd_set 替换成了一个 pollfd 数组 解决 fd 数量过小的问题 数据复制:用户空间和内核空间,复制连接就绪状态信息 epoll:event 事件驱动

epoll:event 事件驱动

事件机制:避免线性扫描 为每个 fd,注册一个监听事件 fd 变更为就绪时,将 fd 添加到就绪链表 fd 数量:无限制(OS 级别的限制,单个进程能打开多少个 fd)

select,poll,epoll:

1.I/O多路复用的机制; 2.I/O多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。 3.监视多个文件描述符 4.但select,poll,epoll本质上都是同步I/O: 5.用户进程负责读写(从内核空间拷贝到用户空间),读写过程中,用户进程是阻塞的; 6.异步 IO,无需用户进程负责读写,异步IO,会负责从内核空间拷贝到用户空间;

Nginx 的并发处理能力

关于 Nginx 的并发处理能力

并发连接数,一般优化后,峰值能保持在 1~3w 左右。(内存和 CPU 核心数不同,会有进一步优化空间)

原创文章,作者:晴川运维,如若转载,请注明出处:https://baike.qcidc.com/7575.html

(0)
晴川运维晴川运维
上一篇 2025年6月10日
下一篇 2025年6月10日

相关推荐

  • 快速扩展sawp 分区

    当物理内存即将耗尽时,Linux 就会用到 sawp 分区。swap 类似于 wiondows 下的虚拟内存一样。当 swap 也耗尽时,这个时候 linux 会遵循内核机制,随机…

    Linux系统 2025年10月26日
  • 网络地址转换(NAT)之连接跟踪工具

    这是有关网络地址转换network address translation(NAT)的系列文章中的第二篇。之前的第一篇文章介绍了 如何使用 iptables/nftabl…

    Linux系统 2025年10月24日
  • 使用unzip命令解压缩文件

    unzip解压命令的使用方法:【unzip test.zip】,表示将压缩文件test.zip解压到当前目录下。unzip命令用于解压缩由zip命令压缩的【.zip】压缩包。 安装…

    Linux系统 2025年10月27日
  • Linux 中安装负载工具 ttyload

    ttyload 是一个轻量级的实用程序,它为 Linux 和其他类 Unix 系统上提供随着时间变化的彩色平均负载。它实现了在终端中(“tty”)图形化跟踪系统的平均负载。 它已知…

    Linux系统 2025年10月7日
  • CoreOS具体安装方法

    CoreOS是一个基于Linux 内核的轻量级操作系统,为了计算机集群的基础设施建设而生,专注于自动化,轻松部署,安全,可靠,规模化,CoreOS作为Docker生态圈中的重要一员…

    Linux系统 2025年10月27日
  • 详解Mariadb SELECT子查询及UNION

    SELECT子查询 嵌套在其他SELECT语句中的SELECT查询叫做子查询,为什么要这样做呢?其实我们已经学了多表查询,很多时候多表查询已经够用了?但是子查询又有自身存在的地位和…

    Linux系统 2025年10月21日
  • MYSQL5.7与MariaDB10.3区别

    大家都知道MariaDB是MySQL源代码的一个分支,但是他们两个之间有什么不能呢?本篇文章重点为大家分享一下MYSQL5.7与MariaDB10.3区别。 二者基础架构是一样的,…

    Linux系统 2025年10月4日
  • Linux桌面环境(桌面系统)大比拼[附带优缺点]

    早期的 linux 系统都是不带界面的,只能通过命令来管理,比如运行程序、编辑文档、删除文件等。所以,要想熟练使用 Linux,就必须记忆很多命令。 后来随着 Windows 的普…

    Linux系统 2025年6月24日
  • Linux LVM逻辑卷管理机制(硬盘分区管理机制)

    我们在实际使用 linux 服务器的时候,总会有一个让人头疼的问题,随着业务的增加,文件系统负载会越来越大,当到了空间不足的情况时,如果我们还在使用传统的分区方式管理硬盘,就不得不…

    Linux系统 2025年7月6日
  • Swift变量讲解

    Swift是一种适用于iOS和OS X应用的全新编程语言,它建立在最好的C和Objective-C语言之上,并且没有C语言的兼容性限制。Swift采用安全的编程模式,增加了现代功能…

    Linux系统 2025年10月20日

发表回复

登录后才能评论