解析Nginx中的日志模块及日志基本的初始化和过滤配置

无论在任何项目中,日志都是一个非常重要的模块,无论是问题定位还是日常信息的管理,都离不开他

在nginx中,ngx_errlog_module模块专门用于处理nginx日志信息,是nginx的core模块之一

在 main 函数中,时间初始化结束后马上进行的就是日志模块的初始化

日志结构:
日志模块的初始化主要做的事情就是初始化全局变量 ngx_log,并创建 errlog 文件

ngx_log_s 结构
ngx_log 变量是一个 ngx_log_s 结构体,定义在 core/ngx_log.h 文件中,结构如下:

// struct ngx_log_s
// 日志结构 {{{
struct ngx_log_s {
 ngx_uint_t   log_level;  // 日志等级
 ngx_open_file_t  *file;   // 日志文件信息
 ngx_atomic_uint_t connection; // 引用该日志对象的连接数
 ngx_log_handler_pt handler;  // 输出日志时需要调用的回调函数
 void    *data;   // 回调函数所需要的参数
 ngx_log_writer_pt writer;
 void    *wdata;
 /*
  * we declare "action" as "char *" because the actions are usually
  * the static strings and in the "u_char *" case we have to override
  * their types all the time
  */
 char    *action;  // 日志记录前,保存当前正在进行的动作
 ngx_log_t   *next;   // 指向下一日志对象
}; // }}}

日志级别
nginx 中日志共分为9个级别:

#define NGX_LOG_STDERR   0
#define NGX_LOG_EMERG    1
#define NGX_LOG_ALERT    2
#define NGX_LOG_CRIT    3
#define NGX_LOG_ERR    4
#define NGX_LOG_WARN    5
#define NGX_LOG_NOTICE   6
#define NGX_LOG_INFO    7
#define NGX_LOG_DEBUG    8

ngx_open_file_s 结构
其中,日志的文件描述结构如下:

// struct ngx_open_file_s
// 打开文件结构 {{{
struct ngx_open_file_s {
 ngx_fd_t    fd;
 ngx_str_t    name;
 void    (*flush)(ngx_open_file_t *file, ngx_log_t *log);
   // 文件刷新时调用的回调
 void     *data; // 回调函数使用的参数
}; // }}}

所有文件相关的数据结构和操作都在 core/ngx_conf_file.h 和 core/ngx_conf_file.c 文件中

日志初始化过程
日志相关的初始化操作都在 core/ngx_log.c 文件中,现在我们调用的是其中的初始化函数:

// ngx_log_t *ngx_log_init(u_char *prefix);
// 初始化 ngx_log 结构,创建 errlog 文件 {{{
ngx_log_t *
ngx_log_init(u_char *prefix)
{
 u_char *p, *name;
 size_t nlen, plen;

 ngx_log.file = &ngx_log_file;
 ngx_log.log_level = NGX_LOG_NOTICE;

 name = (u_char *) NGX_ERROR_LOG_PATH;

 /*
  * we use ngx_strlen() here since BCC warns about
  * condition is always false and unreachable code
  */

 nlen = ngx_strlen(name);

 if (nlen == 0) {
  ngx_log_file.fd = ngx_stderr;
  return &ngx_log;
 }

 p = NULL;

 // 判断是否是绝对路径
#if (NGX_WIN32)
 if (name[1] != ':') {
#else
 if (name[0] != '/') {
#endif

  if (prefix) {
   plen = ngx_strlen(prefix);

  } else {
#ifdef NGX_PREFIX
   prefix = (u_char *) NGX_PREFIX;
   plen = ngx_strlen(prefix);
#else
   plen = 0;
#endif
  }

  if (plen) {
   name = malloc(plen + nlen + 2);
   if (name == NULL) {
    return NULL;
   }

   p = ngx_cpymem(name, prefix, plen);

   if (!ngx_path_separator(*(p - 1))) {
    *p++ = '/';
   }

   ngx_cpystrn(p, (u_char *) NGX_ERROR_LOG_PATH, nlen + 1);

   p = name;
  }
 }

 ngx_log_file.fd = ngx_open_file(name, NGX_FILE_APPEND,
         NGX_FILE_CREATE_OR_OPEN,
         NGX_FILE_DEFAULT_ACCESS);

 if (ngx_log_file.fd == NGX_INVALID_FILE) {
  ngx_log_stderr(ngx_errno,
      "[alert] could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#if (NGX_WIN32)
  ngx_event_log(ngx_errno,
      "could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#endif

  ngx_log_file.fd = ngx_stderr;
 }

 if (p) {
  ngx_free(p);
 }

 return &ngx_log;
}
// }}}

这个初始化过程非常容易理解,之后其他的日志操作也都在这个文件中,我们遇到之后再进行详细讲解

函数执行后,返回 ngx_log 结构的地址

ngx_log 结构取值如下:

{
 log_level = 6,
 file = 0x80e3000 <ngx_log_file>,
 connection = 0,
 handler = 0x0,
 data = 0x0,
 writer = 0x0,
 wdata = 0x0,
 action = 0x0,
 next = 0x0
}

file 字段取值:

{
 fd = 3,
 name = {
 len = 0,
 data = 0x0
 },
 flush = 0x0,
 data = 0x0
}

使用ngx_log_if不记录特定日志
第一步:
先到Github下载ngx_log_if地址https://github.com/cfsego/ngx_log_if/
第二步:
安装第三方模块到Nginx。第三方模块的安装可以参考http://wiki.nginx.org/3rdPartyModules 使用--add-module添加解压后的ngx_log_if如下

./configure --add-module=/var/local/ngx_log_if-master

然后再编译安装Nginx即可。
第三步:
配置access_log_bypass_if到nginx.conf配置文件中

server {
 location / {
  access_log_bypass_if ($status = 404); #不记录404状态的所有日志信息
  access_log_bypass_if ($uri ~* 'images'); #不记录uri中所有images目录下文件的日志信息
  access_log_bypass_if ($uri = '/index.html'); #不记录uri为/index.html的日志信息
 access_log_bypass_if ($host ~* 'tonv.cc'); #不记录host为tonv.cc的所有日志信息
 }
}

重启Nginx即可过滤不显示特定的日志了

(0)

相关推荐

  • nginx访问日志并删除指定天数前的日志记录配置方法

    说明: 操作系统:CentOS 站点1:bbs.jb51.net 站点2:sns.jb51.net Nginx安装路径:/usr/local/nginx Nginx配置文件路径:/usr/local/nginx/conf/nginx.conf 站点1配置文件路径:/usr/local/nginx/conf/vhost/bbs.jb51.net.conf 站点2配置文件路径:/usr/local/nginx/conf/vhost/sns.jb51.net.conf 目的: 1.对站点1和站点2的n

  • Python 分析Nginx访问日志并保存到MySQL数据库实例

    使用Python 分析Nginx access 日志,根据Nginx日志格式进行分割并存入MySQL数据库.一.Nginx access日志格式如下: 复制代码 代码如下: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_f

  • nginx日志配置指令详解

    日志对于统计排错来说非常有利的.本文总结了nginx日志相关的配置如access_log.log_format.open_log_file_cache.log_not_found.log_subrequest.rewrite_log.error_log. nginx有一个非常灵活的日志记录模式.每个级别的配置可以有各自独立的访问日志.日志格式通过log_format命令来定义.ngx_http_log_module是用来定义请求日志格式的. 1. access_log指令 语法: access_

  • nginx日志切割shell脚本

    一.脚本思路 第一步就是重命名日志文件,不用担心重命名后nginx找不到日志文件而丢失日志.在你未重新打开原名字的日志文件前,nginx还是会向你重命名的文件写日志,linux是靠文件描述符而不是文件名定位文件. 第二步向nginx主进程发送USR1信号. nginx主进程接到信号后会从配置文件中读取日志文件名称,重新打开日志文件(以配置文件中的日志名称命名),并以工作进程的用户作为日志文件的所有者. 重新打开日志文件后,nginx主进程会关闭重名的日志文件并通知工作进程使用新打开的日志文件.

  • 实现Nginx中使用PHP-FPM时记录PHP错误日志的配置方法

    nginx与apache不一样,在apache中可以直接指定php的错误日志,那样在php执行中的错误信息就直接输入到php的错误日志中,可以方便查询. 在nginx中事情就变成了这样:nginx只对页面的访问做access记录日志.不会有php的error log 信息.nginx把对php的请求发给php-fpm fastcgi进程来处理,默认的php-fpm只会输出php-fpm的错误信息,在php-fpm的errors log里也看不到php的errorlog. 原因是php-fpm的配

  • nginx php-fpm中启用慢日志配置(用于检测执行较慢的PHP脚本)

    很多站长转到nginx+php-fpm后,饱受500,502问题困扰.当nginx收到如上错误码时,可以确定后端php-fpm解析php出了某种问题,比如,执行错误,执行超时. php-fpm.conf的配置文件中有一个参数request_slowlog_timeout是这样描述的 复制代码 代码如下: ; The timeout for serving a single request after which a PHP backtrace will be; dumped to the 'sl

  • 详解Nginx服务器中的日志相关配置

    nginx 日志相关指令主要有两条, log_format,用来设置日志格式, access_log,用来指定日志文件的存放路径.格式和缓存大小 log_format 格式 log_format name( 格式名字) 格式样式(即想要得到什么样的日志内容) 默认的示例: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_s ent "$ht

  • nginx关闭favicon.ico、robots.txt日志记录配置

    nginx日志最近发生大量访问favicon.ico无法找到的404错误日志,小编感觉很影响服务器性能,对于一个高并发的服务器每一个错误都会影响性能,所以需要关闭访问favicon.ico的日志记录功能. 复制代码 代码如下: # 把以下配置放到 server {} 块. #关闭favicon.ico不存在时记录日志location = /favicon.ico {log_not_found off;access_log off;} location = /robots.txt {allow a

  • Linux服务器nginx访问日志里出现大量http 400错误的请求分析

    服务器中的错误记录类似于这种: 124.65.133.242 – – [27/Oct/2014:14:30:51 +0800] "-" 400 0 "-" "-" 124.65.133.242 – – [27/Oct/2014:14:31:45 +0800] "-" 400 0 "-" "-" 124.65.133.242 – – [27/Oct/2014:14:31:45 +0800]

  • 解析Nginx中的日志模块及日志基本的初始化和过滤配置

    无论在任何项目中,日志都是一个非常重要的模块,无论是问题定位还是日常信息的管理,都离不开他 在nginx中,ngx_errlog_module模块专门用于处理nginx日志信息,是nginx的core模块之一 在 main 函数中,时间初始化结束后马上进行的就是日志模块的初始化 日志结构: 日志模块的初始化主要做的事情就是初始化全局变量 ngx_log,并创建 errlog 文件 ngx_log_s 结构 ngx_log 变量是一个 ngx_log_s 结构体,定义在 core/ngx_log.

  • Python中的logging模块实现日志打印

    目录 方法1:配置并输出日志到标准输出 方法2:配置输出到日志文件 前言: 大家在写代码的时候,经常会使用print打印日志方便排查问题,然而print的问题就是太过简单,缺少时间.日志级别等格式化信息. Python自带的logging模块,很简单就能实现日志的配置和打印,它有两种用法,方法1是把日志输出到标准输出,其实就是命令行界面,方法2则是输出日志到文件,更加方便. 方法1:配置并输出日志到标准输出 import logging   LOG_FORMAT = "%(asctime)s -

  • nginx日志模块及日志定时切割的方法

    一:作用 Ngx_http_log_module:定义日志格式,并且以指定的格式保存. 二:示例配置 log_format compression '$remote_addr - $remote_user [$time_local] ' '"$request" $status $bytes_sent ' '"$http_referer" "$http_user_agent" "$gzip_ratio"'; access_log

  • 详解Nginx中的geo模块与利用其配置负载均衡的示例

    geo指令使用ngx_http_geo_module模块提供的.默认情况下,nginx有加载这个模块,除非人为的 --without-http_geo_module. ngx_http_geo_module模块可以用来创建变量,其值依赖于客户端IP地址. geo指令 语法: geo [$address] $variable { ... } 默认值: - 配置段: http 定义从指定的变量获取客户端的IP地址.默认情况下,nginx从$remote_addr变量取得客户端IP地址,但也可以从其他

  • nginx中使用nginx-http-concat模块合并静态资源文件

    首先了解一下 nginx-http-concat,他是一个淘宝的开源Nginx模块,是一个能把多个CSS和JS合并成一个请求的Nginx模块,对于Web性能优化非常有意义. Github地址:https://github.com/alibaba/nginx-http-concat, 先看看淘宝用起来是什么样的,访问淘宝网主页,查看源代码可以看到类似的这样的style/script链接 复制代码 代码如下: <link rel="stylesheet" href="//g

  • 深入解析Python中的urllib2模块

    Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库.这里总结了一些 urllib2 的使用细节. Proxy 的设置 Timeout 设置 在 HTTP Request 中加入特定的 Header Redirect Cookie 使用 HTTP 的 PUT 和 DELETE 方法 得到 HTTP 的返回码 Debug Log Proxy 的设置 urllib2 默认会使用环境变量 http_proxy

  • Python学习之日志模块详解

    目录 日志的作用 日志的等级 logging 模块的使用 logging 模块演示小案例 OK,今天我们来学习一下 python 中的日志模块,日志模块也是我们日后的开发工作中使用率很高的模块之一,接下来们就看一看今天具体要学习日志模块中的那些内容吧. 日志的作用 说到日志,我们完全可以想象为现实生活中的日记.日记是我们平时记录我们生活中点点滴滴的一种方法,而日志我们可以认为是 程序的日记 ,程序的日记是用来记录程序的行为,一般来说我们可以通过日志记录一些程序的重要信息. 比如哪里报错了?报错原

  • 使用Lua编写Nginx服务器的认证模块的方法

    过去两天里,我解决了一个非常有趣的问题.我用一个nginx服务器作为代理,需要能够向其中添加一个认证层,使其能够使用外部的认证源(比如某个web应用)来进行验证,如果用户在外部认证源有账号,就可以在代理里认证通过. 需求一览 我考虑了几种解决方案,罗列如下: 用一个简单的Python/Flask模块来做代理和验证. 一个使用subrequests做验证的nginx模块(nginx目前可以做到这一点) 使用Lua编写一个nginxren认证模块 很显然,给整个系统添加额外请求将执行的不是很好,因为

  • Python解析nginx日志文件

    项目的一个需求是解析nginx的日志文件. 简单的整理如下: 日志规则描述 首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_f

  • PHP连接Nginx服务器并解析Nginx日志的方法

    php与nginx整合 PHP-FPM也是一个第三方的FastCGI进程管理器,它是作为PHP的一个补丁来开发的,在安装的时候也需要和PHP源码一起编译,也就是说PHP-FPM被编译到PHP内核中,因此在处理性能方面更加优秀:同时它在处理高并发方面也比spawn-fcgi引擎好很多,因此,推荐Nginx+PHP/PHP-FPM这个组合对PHP进行解析. FastCGI 的主要优点是把动态语言和HTTP Server分离开来,所以Nginx与PHP/PHP-FPM经常被部署在不同的服务器上,以分担

随机推荐