Koa日志中间件封装开发详解

对于一个服务器应用来说,日志的记录是必不可少的,我们需要使用其记录项目程序每天都做了什么,什么时候发生过错误,发生过什么错误等等,便于日后回顾、实时掌握服务器的运行状态,还原问题场景。

日志的作用

  • 记录服务器程序运行状态;
  • 帮助开发者快速捕获错误,定位以及决解故障。

日志中间件开发工具log4js

  1. 在node当中没有自带的日志模块,所以需要使用第三方模块
  2. 使用模块:log4js
  3. 安装: npm i log4js -S
  4. logsjs官方文档
  5. 日志分类:
    1. 访问日志: 记录客户端对项目的访问,主要是 http 请求。用于帮助改进和提升网站的性能和用户体验;
    2. 应用日志: 项目标记和记录位置打印的日志,包括出现异常情况,方便查询项目的运行状态和定位bug(包含了debug、info、warn 和 error等级别)。

日志等级

  • 如果配置了日志等级,则其只能记录日志等级比设置的更高级别的日志信息
  • 日志等级图

如配置level: 'error',则只能输出error,fatar,mark级别的日志信息

日志中间件开发

设置需要日志需要记录的信息段(log_info.js)

export default (ctx, message, commonInfo) => {
  const {
   method, // 请求方法
   url,     // 请求链接
   host,   // 发送请求的客户端的host
   headers   // 请求中的headers
  } = ctx.request;
  const client = {
   method,
   url,
   host,
   message,
   referer: headers['referer'], // 请求的源地址
   userAgent: headers['user-agent'] // 客户端信息 设备及浏览器信息
  }
  return JSON.stringify(Object.assign(commonInfo, client));
}

设置通用获取配置后的log4js对象(logger.js)

const getLog = ({env, appLogLevel, dir}, name) => {

  //log4js基本说明配置项,可自定义设置键名,用于categories.appenders自定义选取
  let appenders = {
    // 自定义配置项1
    cheese: {
      type: 'dateFile', //输出日志类型
      filename: `${dir}/task`, //输出日志路径
      pattern: '-yyyy-MM-dd.log', //日志文件后缀名(task-2019-03-08.log)
      alwaysIncludePattern: true
    }
  }
  // 如果为开发环境配置在控制台上打印信息
  if (env === "dev" || env === "local" || env === "development") {
    // 自定义配置项2
    appenders.out = {
     type: "stdout"
    }
  }
  // log4js配置
  let config = {
    appenders,
    //作为getLogger方法获取log对象的键名,default为默认使用
    categories: {
     default: {
      appenders: Object.keys(appenders), // 取appenders中的说有配置项
      level: appLogLevel
     }
    }
  }
  log4js.configure(config) //使用配置项
  return log4js.getLogger(name)// 这个cheese参数值先会在categories中找,找不到就会默认使用default对应的appenders,信息会输出到yyyyMMdd-out.log
}

log日志中间件开发(logger.js)

export default (options) => {
  const contextLogger = {}; //后期赋值给ctx.log
  const { env, appLogLevel, dir, serverIp, projectName } = Object.assign({}, baseInfo, options || {});
  // 取出通用配置(项目名,服务器请求IP)
  const commonInfo = { projectName, serverIp };

  const logger = getLog({env, appLogLevel, dir},'cheese');

  return async (ctx, next) => {
    const start = Date.now(); //日志记录开始时间
    // 将日志类型赋值ctx.log,后期中间件特殊位置需要记录日志,可直接使用ctx.log.error(err)记录不同类型日志
    methods.forEach((method, i) => {
      contextLogger[method] = (message) => {
        logger[method](logInfo(ctx, message, commonInfo))
      }
    })
    ctx.log = contextLogger;
    // 执行中间件
    await next()
    // 结束时间
    const responseTime = Date.now() - start;
    // 将执行时间记录logger.info
    logger.info(logInfo(ctx,
      {
        responseTime: `响应时间为${responseTime/1000}s`
      }, commonInfo)
    )
  }
}

中间件使用(app.js)

import Log from '../log/logger';
...
app.use(Log({
    env: app.env, // koa 提供的环境变量
    projectName: 'back-API',
    appLogLevel: 'debug',
    dir: 'logs',
    serverIp: ip.address()
  }))

其他特殊位置需要日志记录使用

ctx.log.error(err.stack); //记录错误日志
ctx.log.info(err.stack); // 记录信息日志
ctx.log.warn(err.stack); // 记录警告日志
...

运行截图

log4js使用基本配置和流程解析

设置配置项,

// 配置项形式
{
  appenders:{
    [自定义key]:{}
  },
  categories:{
  }
}
// 配置
config: {
  appenders:{
    // 每一个属性可以看作为一个配置模块
    out: {
      type: 'dateFile', //输出日志类型
      filename: `log/task`, //输出日志路径
      pattern: '-yyyy-MM-dd.log', //日志文件后缀名(task-2019-03-08.log)
      ...//具体配置看官网
    },
    error: {
      type: 'dateFile',
      filename: 'log/error',
      pattern: '-yyyy-MM-dd.log'',
      "alwaysIncludePattern": true
    },
    stdout: { type: 'stdout' }, //在控制台上打印信息
  },
  // 通过categories来取出给log4js按需配置,返回配置后的log4js对象,每个属性配置相当于一个不同的log4js配置对象入口;default为默认入口(getLogger()找不到入口时默认使用default)
  categories:{
    // 配置默认入口,使用appenders中的'stdout','out'配置模块,记录trace以上等级日志
    default: { appenders: ['stdout','out'], level: 'trace' },
    // 配置error门入口,使用appenders中的'stdout','err'配置模块,记录error以上等级日志
    error : {appenders: ['err'], level: 'error'}
  }
}

使用let logger_out = log4js.getLogger('app');

log4js.getLogger('app')查找特定log4js对象流程:先根据app参数值在categories中找,发现没有app,然后就会默认使用default对应的appenders进行配置,即信息会输出到log/task-yyyy-mm-dd.log文件中,并且会输出到控制台

使用let logger_out = log4js.getLogger('error');

根据error参数值在categories中找,发现没有拥有error配置,然后就会使用error对应的appenders进行配置,即信息会输出到log/error-yyyy-mm-dd.log文件中,因为error的配置项appenders中没有使用stdout模块,所以信息不会输出到控制台

后期考虑

是否需要对日志进行数据库存储,进行日志持久化;

考虑到不可能对日志记录后一直保存,对于一个月或者一周以前的日志可能没有必要在进行存储了,需要开发设置定时自动删除过期日志文件(获数据库日志记录)

(0)

相关推荐

  • 傻瓜式解读koa中间件处理模块koa-compose的使用

    最近需要单独使用到koa-compose这个模块,虽然使用koa的时候大致知道中间件的执行流程,但是没仔细研究过源码用起来还是不放心(主要是这个模块代码少,多的话也没兴趣去研究了). koa-compose看起来代码少,但是确实绕.闭包,递归,Promise...看了一遍脑子里绕不清楚.看了网上几篇解读文章,都是针对单行代码做解释,还是绕不清楚.最后只好采取一种傻瓜的方式: koa-compose去掉一些注释,类型校验后,源码如下: function compose (middleware) {

  • 浅谈redux, koa, express 中间件实现对比解析

    如果你有 express ,koa, redux 的使用经验,就会发现他们都有 中间件(middlewares)的概念,中间件 是一种拦截器的思想,用于在某个特定的输入输出之间添加一些额外处理,同时不影响原有操作. 最开始接触 中间件是在服务端使用 express 和 koa 的时候,后来从服务端延伸到前端,看到其在redux的设计中也得到的极大的发挥.中间件的设计思想也为许多框架带来了灵活而强大的扩展性. 本文主要对比redux, koa, express 的中间件实现,为了更直观,我会抽取出

  • node中koa中间件机制详解

    koa koa是由express原班人马打造的一个更小.更富有表现力.更健壮的web框架. 在我眼中,koa的确是比express轻量的多,koa给我的感觉更像是一个中间件框架,koa只是一个基础的架子,需要用到的相应的功能时,用相应的中间件来实现就好,诸如路由系统等.一个更好的点在于,express是基于回调来处理,至于回调到底有多么的不好,大家可以自行搜索来看.koa1基于的co库,所以koa1利用Generator来代替回调,而koa2由于node对async/await的支持,所以koa

  • 详解KOA2如何手写中间件(装饰器模式)

    前言 Koa 2.x 版本是当下最流行的 NodeJS 框架, Koa 2.0 的源码特别精简,不像 Express 封装的功能那么多,所以大部分的功能都是由 Koa 开发团队(同 Express 是一家出品)和社区贡献者针对 Koa 对 NodeJS 的封装特性实现的中间件来提供的,用法非常简单,就是引入中间件,并调用 Koa 的 use 方法使用在对应的位置,这样就可以通过在内部操作 ctx 实现一些功能,我们接下来就讨论常用中间件的实现原理以及我们应该如何开发一个 Koa 中间件供自己和别

  • 深入解析koa之中间件流程控制

    前言 koa被认为是第二代web后端开发框架,相比于前代express而言,其最大的特色无疑就是解决了回调金字塔的问题,让异步的写法更加的简洁.在使用koa的过程中,其实一直比较好奇koa内部的实现机理.最近终于有空,比较深入的研究了一下koa一些原理,在这里会写一系列文章来记录一下我的学习心得和理解. 在我看来,koa最核心的函数是大名鼎鼎的co,koa正是基于这个函数实现了异步回调同步化,以及中间件流程控制.当然在这篇文章中我并不会去分析co源码,我打算在整个系列文章中,一步一步讲解如何实现

  • 深入理解 Koa 框架中间件原理

    Node 主要用在开发 Web 应用,koa 是目前 node 里最流行的 web 框架. 在 Node 开启一个 http 服务简直易如反掌,官网 demo. const http = require("http"); const server = http.createServer((req, res) => { res.statusCode = 200; res.setHeader("Content-Type", "text/plain&quo

  • Koa日志中间件封装开发详解

    对于一个服务器应用来说,日志的记录是必不可少的,我们需要使用其记录项目程序每天都做了什么,什么时候发生过错误,发生过什么错误等等,便于日后回顾.实时掌握服务器的运行状态,还原问题场景. 日志的作用 记录服务器程序运行状态: 帮助开发者快速捕获错误,定位以及决解故障. 日志中间件开发工具log4js 在node当中没有自带的日志模块,所以需要使用第三方模块 使用模块:log4js 安装: npm i log4js -S logsjs官方文档 日志分类: 访问日志: 记录客户端对项目的访问,主要是

  • ASP.NET Core扩展库之日志功能的使用详解

    上一篇我们对Xfrogcn.AspNetCore.Extensions扩展库功能进行了简单的介绍,从这一篇文章开始,我将逐步介绍扩展库中的核心功能.     日志作为非业务的通用领域基础功能,有非常多的技术实现,这些第三方库避免了我们花费时间去重复实现,不过,很多日志库配置复杂,不易于使用,入手较难,而有些库可能与ASP.NET Core的结合并不好.     如果我们没有对所使用的日志库进行详细了解,日志库也可能产生严重的问题,在我的开发生涯中,曾经遇到过多次因为日志库而导致的生产事故.  

  • Java Apache Shiro安全框架快速开发详解流程

    目录 一.Shiro简介: shiro功能: Shiro架构(外部) Shiro架构(内部) 二.快速入门 1.拷贝案例 2.分析代码 三.SpringBoot 集成 Shiro 1.编写测试环境 2.使用 1.登录拦截 2.用户认证 四.Shiro整合Mybatis 五.实现请求授权 六.Shiro整合Thymeleaf 一.Shiro简介: Apache Shiro是一个Java的安全(权限)框架. Shiro 可以非常容易的开发出足够好的应用,其不仅可以用在JavaSE环境,也可以用在Ja

  • Java基本数据类型与封装类型详解(int和Integer区别)

    int是java提供的8种原始数据类型之一. Java为每个原始类型提供了封装类,Integer是java为int提供的封装类(即Integer是一个java对象,而int只是一个基本数据类型).int的默认值为0,而Integer的默认值为null,即Integer可以区分出未赋值和值为0的区别,int则无法表达出未赋值的情况,例如,要想表达出没有参加考试和考试成绩为0的区别,则只能使用Integer.在JSP开发中,Integer的默认为null,所以用el表达式在文本框中显示时,值为空白字

  • Kotlin + Retrofit + RxJava简单封装使用详解

    本文介绍了Kotlin + Retrofit + RxJava简单封装使用详解,分享给大家,具体如下: 实例化Retrofit object RetrofitUtil { val CONNECT_TIME_OUT = 30//连接超时时长x秒 val READ_TIME_OUT = 30//读数据超时时长x秒 val WRITE_TIME_OUT = 30//写数据接超时时长x秒 val retrofit: Retrofit by lazy { Log.d("RetrofitUtil"

  • python对于requests的封装方法详解

    由于requests是http类接口的核心,因此封装前考虑问题比较多: 1. 对多种接口类型的支持: 2. 连接异常时能够重连: 3. 并发处理的选择: 4. 使用方便,容易维护: 当前并未全部实现,后期会不断完善.重点提一下并发处理的选择:python的并发处理机制由于存在GIL的原因,实现起来并不是很理想,综合考虑多进程.多线程.协程,在不考虑大并发性能测试的前提下使用了多线程-线程池的形式实现.使用的是 concurrent.futures模块.当前仅方便支持webservice接口. #

  • javacv开发详解之调用本机摄像头视频

    前言 javacv开发包是用于支持java多媒体开发的一套开发包,可以适用于本地多媒体(音视频)调用以及音视频,图片等文件后期操作(图片修改,音视频解码剪辑等等功能),这里只使用最简单的本地摄像头调用来演示一下javacv的基础功能 重要: 建议使用最新javaCV1.5版本,该版本已解决更早版本中已发现的大部分bug javacv系列文章使用6个jar包: javacv.jar,javacpp.jar,ffmpeg.jar,ffmpeg-系统平台.jar,opencv.jar,opencv-系

  • javaCV开发详解之推流器和录制器的实现

    功能 实现边播放边录制/推流,停止预览即停止录制/推流 开发所依赖的包 javacv.jar,javacpp.jar,ffmpeg.jar,ffmpeg-系统平台.jar,opencv.jar,opencv-系统平台.jar. 其中ffmpeg-系统平台.jar,opencv-系统平台.jar中的系统平台根据开发环境或者测试部署环境自行更改为对应的jar包,比如windows7 64位系统替换为ffmpeg-x86-x64.jar 为什么要这样做:因为ffmpeg-系统平台.jar中存放的是c/

  • Java Mybatis框架多表操作与注解开发详解分析

    目录 一对一查询 多对多查询 Mybatis的注解开发 Mybatis的增删查改 MyBatis的注解实现复杂映射开发 一对一查询 一对一查询的模型 用户表和订单表的关系为,一个用户有多个订单,一个订单只从属于一个用户. 一对一查询的需求:查询一个订单,与此同时查询出该订单所属的用户 一对一查询的语句 对应的sql语句: select * from orders o,user u where o.uid=u.id;查询的结果如下: 创建Order和User实体 创建OrderMapper接口 p

  • SpringBoot开发详解之Controller接收参数及参数校验

    目录 Controller 中注解使用 传输参数的几种Method 获取参数的几种常用注解 使用对象直接获取参数 使用@Valid对参数进行校验 总结 Controller 中注解使用 接受参数的几种传输方式以及几种注解: 在上一篇中,我们使用了JDBC链接数据库,完成了简单的后端开发.但正如我在上文中抛出的问题,我们能不能更好的优化我们在Controller中接受参数的方式呢?这一篇中我们就来聊一聊怎么更有效的接收Json参数. 传输参数的几种Method 在定义一个Rest接口时,我们通常会

随机推荐