深入分析nginx+php-fpm服务HTTP状态码502

我们的一个web项目，由于新上城市增多，导致访问量增大，DB压力增大，作为提供接口的业务方，最近被下游反馈大量请求“502”。

502，bad gateway，一般都是upstream（这里就是php）出错，对于php，造成502的原因常见的就是脚本执行超过timeout设置时间，或者timeout设置过大，导致php进程长时间不能被释放，没有空闲worker进程来接客。

我们的项目就是php执行时间设置过短导致的，对于这种情况，可以先适当增大php的执行时间，先保证清除502，优化的事情毕竟要花更多的时间。

控制php执行时间的选项有两个，在php.ini中 max_execution_time 和php-fpm中 request_terminate_timeout，其中 request_terminate_timeout 可以覆盖 max_execution_time，所以如果不想改全局的php.ini，那只改php-fpm的配置就可以了。

下边我就来详细的分析一下为什么php脚本执行超出设置时间会导致nginx返回502。

先来布景，让问题复现：

nginx和php分别只启动一个worker，方便追踪。

php-fpm的request_terminate_timeout设置为3S。

测试脚本test.php

sleep(20);
echo 'ok';

go go go：

在浏览器访问www.v.com/test.php，3S后如期出现...404？？？what？？？

出师不利啊，赶紧看看nginx的配置文件

这个location配置是当发生5xx错误时跳转到一个好看点的界面，但是我在/usr/share/nginx/html下并没有50x.html这个文件。所以搞了个404出来。这不是很影响我判断问题的准确性？直接注释掉！再次访问，等待3S，终于'正常'的界面出来了。

环境好了，下边就上套路，按照web问题的排查套路走一遍，先看看错误日志吧：

nginx:

报错都是 recv() failed (104: Connection reset by peer。

recv时失败了，连接被重置了。为啥连接被重置了？难道一言不合。

我们在看看php-fpm的错误日志：

（注意php-fpm中php_admin_value[error_log]选项指定php的错误日志，会覆盖php.ini中的。但是这里不是看php的错误，而是看php-fpm的错误。php-fpm的错误日志由php-fpm.conf中的error_log选项指定。）

每一次请求都是产生2个WARNING和1个NOTICE：

WARNING：脚本执行超时了，终止了。

WARNING：子进程收到SIGTERM信号退出了。

NOTICE：启了一个新的子进程（因为我设置的pm.min_spare_servers = 1）

看来如果php的worker进程执行超时，不仅终止脚本执行，而且worker进程也会退出。看来nginx的报错连接被重置是因为php的worker进程退出了（在TCP连接中一方如果断掉的话会发送RST给另一方）

通过日志已经可以知道php脚本执行超时，worker子进程退出，导致nginx报错Connection reset by peer，下边我们通过strace来看看php和nginx的情况：

php：

1.accept一个nginx的连接请求（socket，bind，listen都在master中完成 ），可以看到nginx的端口是47039，从FD0中读取数据，就是从标准输入中，这个是fast-cgi协议规定的。accept之后的已连接描述符是3。

2.从FD3中读取nginx传递过来的数据，fastcgi协议格式，接收了856字节。为什么read5次呢？

因为fastcgi协议数据包是8字节对齐，由包头和包体组成。并且都是会先发一个request数据包，包含一些请求ID，版本，typpe等信息（包头包体各占8字节），再发一个params数据包，传递get参数和环境变量（包头8字节，包体变长），最后发送一个没有包体只有包头的params数据包，表示参数发送结束（包头8字节）。所以前3个read用来读出request包的包头和包体，还有params包的包头，第四个read是读取真正的数据，最后一个read是读取最后一个params包的包头。所以nginx传递的数据应该是8+8+8+856+8=896字节（和下边nginx的传输bytes能对应上）。注意如果是post方式，还会发送stdin数据包。

3.设置休眠20S，就是php程序中的sleep(20)，之后由于进程被终止了，所以后边就没啦。strace程序也退出啦。

nginx：

1.accept到浏览器的请求，可以看到浏览器端的端口是56434，IP是192.168.1.105，已建立连接的FD是3。

2.从FD3中接收数据，HTTP协议。

3.创建一个socket，FD21，用于和php建立连接。

4.连接到FD21，可以看到连接的是本机的9000端口，这里nginx和php-fpm使用IP socket连接方式，nginx和php-fpm部署在一台机器上可以考虑unix domain socket。

5.向FD21写入数据，fast-cgi协议格式，我们看到写入的长度是896，和上边的php接收的长度是对应的。

6.recvfrom函数从FD21中返回 ECONNRESET (Connection reset by peer)

7.向FD9中写入错误信息，可以推断FD9就是nginx错误日志的文件描述符。

8.关闭和FD21的连接。

9.向FD3写入502 Bad Gateway，就是返回给浏览器的信息。

10.向FD8写入一条访问日志，可以推断FD8就是nginx访问日志的文件描述符。

来验证一下nginx访问日志和错误日志的推断。可以看到的确是FD8，FD9，并处于写入模式。

那么在这个过程中整个网络包的传输我们不妨也看一下：

通过tcpdump抓包，用神器看比较方便。

因为只想看nginx和php的通讯，在上边又知道nginx的端口是47039，可以通过tcp.srcport==47039过滤出对应的包。

可以看到nginx和php-fpm数据交互的过程：47039->9000建立三次握手，接着向9000发送数据，9000回复ACK，3S后9000回复RST。没毛病。

注意：

SYN，FIN各占一个序列号

ACK，RST不占序列号（28，29两个包的reqnum和acknum都是相同的）

序列号是每一字节加1（29包发送896字节，同时29包seq为4219146879，30包的ack为4219147775，正好相差896）

RST不需要回复。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 为Nginx自定义404，502错误页面的方法

    首先打开nginx.conf文件,在fastcgi_temp_file_write_size 128k; 下面添加 fastcgi_intercept_errors on;注意,包括;号 然后在需要定义的站点的里面添加 error_page 404 = /404.htm;例如: 复制代码 代码如下: server { listen 80; server_name www.deepvps.com; index index.html index.htm index.php; error_page 4

  • Nginx 502 bad gateway和Nginx 504 Gateway Time-out错误解决方法 错误解决办法

    最近服务器宕机的现象比较频繁,临下班时分,G给挂掉了,502 Bad Gateway Nginx,不由得让我想起之前的504 Gateway Time-out,两者应该有点联系,一定得弄清楚.Nginx 504 Gateway Time-out的含义是所请求的网关没有请求到,简单来说就是没有请求到可以执行的PHP-CGI. 解决这两个问题其实是需要综合思考的,一般来说Nginx 502 Bad Gateway和php-fpm.conf的设置有关,而Nginx 504 Gateway Time-o

  • nginx提示502 页面的解决方法

    例如: 复制代码 代码如下: http      {      ......      fastcgi_connect_timeout 300;      fastcgi_send_timeout 300;      fastcgi_read_timeout 300;      ......      } 也有可能是PHP代码不正确,比如SVN冲突等原因.

  • 解决Nginx + PHP（FastCGI）遇到的502 Bad Gateway错误

    我让按照以下两个步骤去解决,最后在第2步中将FastCGI的timeout时间增加为300,问题解决: PS:比较羡慕迅雷的Web服务器,16G内存. -------------------------------------------------------------------------------- 1.查看当前的PHP FastCGI进程数是否够用: netstat -anpo | grep "php-cgi" | wc -l 如果实际使用的"FastCGI进程

  • Opcache导致php-fpm崩溃nginx返回502

    我这个博客为了提高运行效率在vps上装了opcache扩展,结果发现有个页面返回502,其他页面正常. 检查了php-fpm日志,发现是php-fpm子进程不知道为什么会崩溃,然后把opcache关了就正常.中间折腾的过程就不提了,总之最后发现应该是和另外一个扩展 zend guard冲突导致的,搞笑的是,只要我把php.ini中[zend guard] 配置段放在[zend opcache]后面就正常了. 不想继续深究了,如果你对php底层熟悉,可以为我解惑.

  • PHP脚本监控Nginx 502错误并自动重启php-fpm

    最近服务器时不时出现Nginx 502 Bad Gateway,如果在电脑旁边还好,要是半夜或者出去了,怎么办? 没关系,写个脚本检测服务状态,发现异常,自动重启. 自动重启脚本: 复制代码 代码如下: <?php $url = 'http://blog.rebill.info'; $cmd = '/usr/local/php/sbin/php-fpm restart';   for($i = 0; $i < 5; $i ++){         $exec = "curl  con

  • nginx加php-fpm出现502 bad gateway错误的5种解决方法

    nginx出现502有很多原因,但大部分原因可以归结为资源数量不够用,也就是说后端php-fpm处理有问题,nginx将正确的客户端请求发给了后端的php-fpm进程,但是因为php-fpm进程的问题导致不能正确解析php代码,最终返回给了客户端502错误. 服务器出现502的原因是连接超时 我们向服务器发送请求 由于服务器当前链接太多,导致服务器方面无法给于正常的响应,产生此类报错 因此如果你服务器并发量非常大,那只能先增加机器,然后按以下方式优化会取得更好效果;但如果你并发不大却出现502,

  • 深入分析nginx+php-fpm服务HTTP状态码502

    我们的一个web项目,由于新上城市增多,导致访问量增大,DB压力增大,作为提供接口的业务方,最近被下游反馈大量请求"502". 502,bad gateway,一般都是upstream(这里就是php)出错,对于php,造成502的原因常见的就是脚本执行超过timeout设置时间,或者timeout设置过大,导致php进程长时间不能被释放,没有空闲worker进程来接客. 我们的项目就是php执行时间设置过短导致的,对于这种情况,可以先适当增大php的执行时间,先保证清除502,优化的

  • HTTP 499 状态码 nginx下 499错误的解决办法

    日志记录中HTTP状态码出现499错误有多种情况,我遇到的一种情况是nginx反代到一个永远打不开的后端,就这样了,日志状态记录是499.发送字节数是0. 老是有用户反映网站系统时好时坏,因为线上的产品很长时间没有修改,所以前端程序的问题基本上可以排除,于是就想着是Get方式调用的接口不稳定,问了相关人员,说没有问题,为了拿到确切证据,于是我问相关人员要了nginx服务器的日志文件(awstats日志),分析后发现日志中很多错误码为499的错误,约占整个日志文件的1%,而它只占全部报错的70%左

  • Nginx中定义404页面并且返回404状态码的正确方法

    Nginx中定义404页面并且返回404状态码的正确方法

    前几天,一朋友出程序出问题却怎么查都没看出问题,于是让我帮它看看.其实它是ajax请求了很多个模板,然后把模板写到页面中.关键是所有请求的页面都是200正常状态码返回,表面上看没什么问题,实际上有些请求虽然返回200状态码,但给回的状态码是200.WebServer是nginx,直接告诉我应该他们配置了nginx的404错误页面,虽然请求不存在的资源可以成功返回404页面,但返回状态码确是200. 404.html 复制代码 代码如下: This is 404 page. 请求一个不存在的页面:

  • Eureka源码解析服务离线状态变更

    Eureka源码解析服务离线状态变更

    目录 环境 1. 服务离线的方式 1.1 基于Actuator监控器实现 1.2 直接向Eureka Server提交请求 1.3 特殊状态CANCEL_OVERRIDE 2. 服务下架源码 2.1 cancelScheduledTasks() 2.2 unregister() 3. 服务下线源码分析(状态变更) 3.1 变更状态 3.2 获取状态 环境 eureka版本:1.10.11 Spring Cloud : 2020.0.2 Spring Boot :2.4.4测试代码:github.

  • http200、301、304等状态码详解

    当浏览者访问一个网页时,浏览者的浏览器会向网页所在服务器发出请求.当浏览器接收并显示网页前,此网页所在的服务器会返回一个包含HTTP状态码的信息头(server header)用以响应浏览器的请求 HTTP状态码的英文为HTTP Status Code. 下面是常见的HTTP状态码: •200 - 请求成功 •301 - 资源(网页等)被永久转移到其它URL •404 - 请求的资源(网页等)不存在 •500 - 内部服务器错误 200表示正常0k,这个是地球人都知道的了. 301 Moved

  • java发送http请求并获取状态码的简单实例

    目前做项目中有一个需求是这样的,需要通过java发送url请求,查看该url是否有效,这时我们可以通过获取状态码来判断. try { URL u = new URL("http://10.1.2.8:8080/fqz/page/qizha/pros_add.jsp"); try { HttpURLConnection uConnection = (HttpURLConnection) u.openConnection(); try { uConnection.connect(); Sy

  • http状态码一览表

    我们经常会遇到404.500.302等提示,它们究竟是什么意思呢?除了这几个常见的状态码外,还有哪些我们没有遇到过的但有可能出现的状态码呢?这里本人做了一个汇总,与大家分享一下. HTTP状态码        摘要说明----------------------------------------------------------------------------------------------------------- 成功2XX        成功处理了请求的状态码.200     

  • Shell脚本实现apache日志中的状态码分析

    一.首先将apache日志按天切割 复制代码 代码如下: vi /etc/httpd/conf/httpd.conf         ErrorLog "|rotatelogs /var/log/httpd/%Y%m%derror_log 86400 480"        CustomLog "|rotatelogs /var/log/httpd/%Y%m%daccess_log 86400 480" combined 二.重启apache服务 复制代码 代码如下

  • AJAX(XMLHttpRequest.status)状态码

    下面是Jquery中AJAX参数详细列表: 参数名 类型 描述 url String (默认: 当前页地址) 发送请求的地址. type String (默认: "GET") 请求方式 ("POST" 或 "GET"), 默认为 "GET".注意:其它 HTTP 请求方法,如 PUT 和 DELETE 也可以使用,但仅部分浏览器支持. timeout Number 设置请求超时时间(毫秒).此设置将覆盖全局设置. async

  • http状态码汇总及问题经验总结

    我们经常会遇到404.500.302等提示,它们究竟是什么意思呢?除了这几个常见的状态码外,还有哪些我们没有遇到过的但有可能出现的状态码呢?这里本人做了一个汇总,与大家分享一下. 常见的HTTP错误可以分为以下四大类.每一大类又细分为很多类小错误.当您打不开网站或者打开网站报错时首先检查您输入的网站是否有误,检查网络是否有问题或者DNS是否可以解析.确定没有问题时再看下面http常见错误分析: 1.400错误 问题原因: 您所要打开的网页不存在或你填写的身份验证信息不正确. 解决方法: 重新尝试

随机推荐