深入探究一下Nginx如此之快的原因

Nginx (“engine x”) 是一个高性能的 HTTP 和 反向代理 服务器 ,也是一个 IMAP/POP3/SMTP 代理 服务器 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。

Nginx 的进程模型

Nginx 服务器,正常运行过程中

1.多进程:一个 Master 进程、多个 Worker 进程 2.Master 进程:管理 Worker 进程 3.对外接口:接收外部的操作(信号) 4.对内转发:根据外部的操作的不同,通过信号管理 Worker 5.监控:监控 worker 进程的运行状态,worker 进程异常终止后,自动重启 worker 进程 6.Worker 进程:所有 Worker 进程都是平等的 7.实际处理:网络请求,由 Worker 进程处理; 8.Worker 进程数量:在 nginx.conf 中配置,一般设置为核心数,充分利用 CPU 资源,同时,避免进程数量过多,避免进程竞争 CPU 资源,增加上下文切换的损耗。

思考:

1.请求是连接到 Nginx,Master 进程负责处理和转发? 2.如何选定哪个 Worker 进程处理请求?请求的处理结果,是否还要经过 Master 进程?

HTTP 连接建立和请求处理过程

1.Nginx 启动时,Master 进程,加载配置文件 2.Master 进程,初始化监听的 socket 3.Master 进程,fork 出多个 Worker 进程 4.Worker 进程,竞争新的连接,获胜方通过三次握手,建立 Socket 连接,并处理请求

Nginx 高性能、高并发

1.Nginx 采用:多进程 + 异步非阻塞方式(IO 多路复用 epoll) 2.请求的完整过程: 3.建立连接 4.读取请求:解析请求 5.处理请求 6.响应请求 7.请求的完整过程,对应到底层,就是:读写 socket 事件

Nginx 的事件处理模型

request:Nginx 中 http 请求。

基本的 HTTP Web Server 工作模式:

1.接收请求:逐行读取请求行和请求头,判断段有请求体后,读取请求体 2.处理请求 3.返回响应:根据处理结果,生成相应的 HTTP 请求(响应行、响应头、响应体) Nginx 也是这个套路,整体流程一致。

模块化体系结构

nginx的模块根据其功能基本上可以分为以下几种类型:

1.event module: 搭建了独立于操作系统的事件处理机制的框架,及提供了各具体事件的处理。包括ngx_events_module, ngx_event_core_module和ngx_epoll_module等。nginx具体使用何种事件处理模块,这依赖于具体的操作系统和编译选项。 2.phase handler: 此类型的模块也被直接称为handler模块。主要负责处理客户端请求并产生待响应内容,比如ngx_http_static_module模块,负责客户端的静态页面请求处理并将对应的磁盘文件准备为响应内容输出。 3.output filter: 也称为filter模块,主要是负责对输出的内容进行处理,可以对输出进行修改。例如,可以实现对输出的所有html页面增加预定义的footbar一类的工作,或者对输出的图片的URL进行替换之类的工作。 4.upstream: upstream模块实现反向代理的功能,将真正的请求转发到后端服务器上,并从后端服务器上读取响应,发回客户端。upstream模块是一种特殊的handler,只不过响应内容不是真正由自己产生的,而是从后端服务器上读取的。 5.load-balancer: 负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。

常见问题剖析

Nginx vs. Apache

网络 IO 模型:

1.nginx:IO 多路复用,epoll(freebsd 上是 kqueue ) 2.高性能 3.高并发 4.占用系统资源少 5.apache:阻塞 + 多进程/多线程 6.更稳定,bug 少 7.模块更丰富

场景:

处理多个请求时,可以采用:IO 多路复用 或者 阻塞 IO +多线程

IO 多路服用:一个 线程,跟踪多个 socket 状态,哪个就绪,就读写哪个; 阻塞 IO + 多线程:每一个请求,新建一个服务线程

思考:IO 多路复用 和 多线程 的适用场景?

IO 多路复用:单个连接的请求处理速度没有优势,适合 IO 密集型 场景,事件驱动 大并发量:只使用一个线程,处理大量的并发请求,降低上下文环境切换损耗,也不需要考虑并发问题,相对可以处理更多的请求; 消耗更少的系统资源(不需要线程调度开销) 适用于长连接的情况(多线程模式长连接容易造成线程过多,造成频繁调度) 阻塞IO + 多线程:实现简单,可以不依赖系统调用,适合 CPU 密集型 场景 每个线程,都需要时间和空间; 线程数量增长时,线程调度开销指数增长

Nginx 最大连接数

基础背景:

1.Nginx 是多进程模型,Worker 进程用于处理请求; 2.单个进程的连接数(文件描述符 fd),有上限(nofile):ulimit -n 3.Nginx 上配置单个 worker 进程的最大连接数:worker_connections 上限为 nofile 4.Nginx 上配置 worker 进程的数量:worker_processes

因此,Nginx 的最大连接数:

1.Nginx 的最大连接数:Worker 进程数量 x 单个 Worker 进程的最大连接数 2.上面是 Nginx 作为通用服务器时,最大的连接数 3.Nginx 作为反向代理服务器时,能够服务的最大连接数:(Worker 进程数量 x 单个 Worker 进程的最大连接数)/ 2。 4.Nginx 反向代理时,会建立 Client 的连接和后端 Web Server 的连接,占用 2 个连接

思考:

每打开一个 socket 占用一个 fd

为什么,一个进程能够打开的 fd 数量有限制?

IO 模型

场景:

处理多个请求时,可以采用:IO 多路复用 或者 阻塞 IO +多线程

IO 多路复用:一个 线程,跟踪多个 socket 状态,哪个就绪,就读写哪个; 阻塞 IO + 多线程:每一个请求,新建一个服务线程

思考: IO 多路复用 和 多线程 的适用场景?

IO 多路复用:单个连接的请求处理速度没有优势 大并发量:只使用一个线程,处理大量的并发请求,降低上下文环境切换损耗,也不需要考虑并发问题,相对可以处理更多的请求; 消耗更少的系统资源(不需要线程调度开销) 适用于长连接的情况(多线程模式长连接容易造成线程过多,造成频繁调度) 阻塞IO + 多线程:实现简单,可以不依赖系统调用。 每个线程,都需要时间和空间; 线程数量增长时,线程调度开销指数增长

select/poll 和 epoll 比较

详细内容,参考:

select poll epoll三者之间的比较

select/poll 系统调用:

// select 系统调用

int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);

// poll 系统调用

int poll(struct pollfd fds[], nfds_t nfds, int timeout);

select:

查询 fd_set 中,是否有就绪的 fd,可以设定一个超时时间,当有 fd (File descripter) 就绪或超时返回; fd_set 是一个位集合,大小是在编译内核时的常量,默认大小为 1024 特点: 连接数限制,fd_set 可表示的 fd 数量太小了; 线性扫描:判断 fd 是否就绪,需要遍历一边 fd_set; 数据复制:用户空间和内核空间,复制连接就绪状态信息

poll:

解决了连接数限制: poll 中将 select 中的 fd_set 替换成了一个 pollfd 数组 解决 fd 数量过小的问题 数据复制:用户空间和内核空间,复制连接就绪状态信息 epoll:event 事件驱动

epoll:event 事件驱动

事件机制:避免线性扫描 为每个 fd,注册一个监听事件 fd 变更为就绪时,将 fd 添加到就绪链表 fd 数量:无限制(OS 级别的限制,单个进程能打开多少个 fd)

select,poll,epoll:

1.I/O多路复用的机制; 2.I/O多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。 3.监视多个文件描述符 4.但select,poll,epoll本质上都是同步I/O: 5.用户进程负责读写(从内核空间拷贝到用户空间),读写过程中,用户进程是阻塞的; 6.异步 IO,无需用户进程负责读写,异步IO,会负责从内核空间拷贝到用户空间;

Nginx 的并发处理能力

关于 Nginx 的并发处理能力

并发连接数,一般优化后,峰值能保持在 1~3w 左右。(内存和 CPU 核心数不同,会有进一步优化空间)

原创文章,作者:晴川运维,如若转载,请注明出处:https://baike.qcidc.com/7575.html

(0)
晴川运维晴川运维
上一篇 2025年6月10日
下一篇 2025年6月10日

相关推荐

  • 讲解一下ES6 Promise用法

    所谓Promise,简单说就是一个容器,里面保存着某个未来才会结束的事件(通常是一个异步操作)的结果。 ES6 规定,Promise对象是一个构造函数,用来生成Promise实例。…

    Linux系统 2025年6月13日
  • 详解Redis主从技术

    Redis复制 在生产环境中,Redis通过持久化功能(RDB和AOF技术)保证了即使在服务器重启的情况下也不会损失(或少量损失)数据。但是由于数据是存储在一台服务器上的,如果这台…

    Linux系统 1天前
  • Linux下常用的剪贴板

    Linux下有哪些常用的剪贴板?本篇文章将为大家分享一下Linux下常用的剪贴板,有需要的小伙伴可以参考一下。 1.CopyQ 这种高级的剪贴板管理器适用于大多数平台上。它有编辑和…

    Linux系统 2025年6月10日
  • 简单介绍一下kafka常用命令

    Kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,本…

    Linux系统 2025年6月8日
  • C++中double类型保留三位小数点

    我们知道C语言中,如果要求输出结果保留三位小数,我们可以使用pritf()函数轻松的解决。但是的输出运算符 我以一个例子作为讲解: 已知线段的两个端点坐标是A(xa,ya),B(x…

    Linux系统 2025年6月8日
  • Linux中清除APT缓存具体方法

    Linux中如何清除APT缓存?本篇文章重点为大家讲解一下Linux中清除APT缓存具体方法,有需要的小伙伴可以参考一下。 如何清除 APT 缓存?你只需使用这个 apt-get …

    Linux系统 2025年6月8日
  • 在 Fedora 中获取最新的 Ansible 2.8

    Ansible 是世界上最受欢迎的自动化引擎之一。它能让你自动化几乎任何事情,从本地系统的设置到大量的平台和应用。它是跨平台的,因此你可以将其用于各种操作系统。请继续阅读以获取有关…

    Linux系统 2025年6月4日
  • 详解Sass 变量

    Sass(Syntactically Awesome StyleSheets)是css的一个扩展开发工具,它允许你使用变量、条件语句等,使开发更简单可维护。 变量用于存储一些信息,…

    Linux系统 2025年6月10日
  • Linux下下配置svn的https访问

    Apache Subversion 通常被缩写成 SVN,是一个开放源代码的版本控制系统,Subversion 在 2000 年由 CollabNet Inc 开发,现在发展成为 …

    Linux系统 1天前
  • Docker中安装Redmine具体步骤

    Redmine是一个开源的、基于Web的项目管理和缺陷跟踪工具。它用日历和甘特图辅助项目及进度可视化显示。同时它又支持多项目管理,下面为大家分享一下Docker中安装Redmine…

    Linux系统 2025年6月12日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注