python监控日志中的报错并进行邮件报警

目录
  • 前言
  • 实现思路
  • 实现代码

前言

在测试过程中,注意力往往都在功能上,如果功能正常,是基本不会查看日志的,反之会查看日志定位问题。但是表面上的功能正常不能确保日志没有报错,不能确保其他功能点没有问题,这时我们就需要日志的监控,一旦有报错就触发报警机制(报警机制可以有邮件报警、钉钉微信发消息报警等),我选择的是发邮件报警。

实现思路

1、在测试过程中,日志时时在刷,时时监控难度太大

2、转换思路,每分钟对日志进行扫描一次,发现报错即报警

  • a.获取当前时间前一分钟的日志,并将日志全部写入一个文件中,每次写入前会将该文件清空
  • b.获取前一分钟文件时,方法是获取前一分钟日志的第一行的行号和最后一行的行号,然后将这两个行号间的所有内容输出到一个文件中(这样做相比于直接根据时间过滤的好处就是会包含报错内容,因为java日志中报错信息前面是没有时间的,根据时间过滤就会漏掉报错信息)
  • c.在前一分钟日志中进行java关键词报错过滤,并将查询到的报错信息的前后20行(具体多少行根据实际情况而定)内容都输出到另一个文件中
  • d.发邮件之前判断上一步生成的文件大小,如果大于0(说明有报错)就触发邮件,如果等于0就不触发邮件报警

3.脚本写好后,放入crond定时任务中,每分钟执行一次,即可进行监控

实现代码

仅供参考

#!/bin/sh
#日志路径
mall_c_log_path='/data/admin/log/mall-c/1.0.0/qa/base/1/mall-c.log'
mall_mg_log_path='/data/admin/log/mall-mg/1.0.0/qa/base/1/mall-mg.log'
#当前时间前一分钟,精确到分
curdate=`date -d "1 minute ago" +"%Y-%m-%d %H:%M"`
echo ${curdate}
#获取mall_c要截取日期日志的开始和结束行号
c_start_line=`cat -n $mall_c_log_path | grep "${curdate}" | head -1 | cut -f1`
c_end_line=`cat -n $mall_c_log_path | grep "${curdate}" | tail -1 | cut -f1`
#获取mall_mg要截取日期日志的开始和结束行号
mg_start_line=`cat -n $mall_mg_log_path | grep "${curdate}" | head -1 | cut -f1`
mg_end_line=`cat -n $mall_mg_log_path | grep "${curdate}" | tail -1 | cut -f1`
sed -n "$c_start_line,${c_end_line}p" $mall_c_log_path > /data/admin/log_err/mall_c_now.log
sed -n "$mg_start_line,${mg_end_line}p" $mall_mg_log_path > /data/admin/log_err/mall_mg_now.log
#清空错误日志文件
> /data/admin/log_err/mall-c_err.txt
> /data/admin/log_err/mall-mg_err.txt
#将报错信息写入文件
err_list=(ArithmeticExecption NullPointerException ClassCastException NegativeArrayException ArrayIndexOutOfBoundsException SecturityException EOFException FileNotFoundException NumberFormatException SQLException IOException NoSuchMethodException SocketTimeoutException)
for i in ${err_list[*]}; do
cat /data/admin/log_err/mall_c_now.log | grep -C 20 "${i}" >> /data/admin/log_err/mall-c_err.txt
cat /data/admin/log_err/mall_mg_now.log | grep -C 20 "${i}" >> /data/admin/log_err/mall-mg_err.txt
done
# -*- coding: UTF-8 -*-
import smtplib,os
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.header import Header
def send_mail_attch():
    #发送邮箱
    # sender='18706710668@163.com'
    sender='815618406@qq.com'
    #接收邮箱
    receiver='815618406@qq.com'
    #发送邮箱服务器
    # smtpserver='smtp.163.com'
    smtpserver='smtp.qq.com'
    #用户名  口令
    # username='18706710668@163.com'
    username='815618406@qq.com'
    password='vwrfpqwbwgsybdah'
    #中文需参数‘utf8',单字节字符不需要
    # 发送邮件主题
    subject = '互动赢家QA环境日志监控报警'
    msg = MIMEMultipart('mixed')
    msg['Subject'] = Header(subject, 'utf-8')
    #邮件正文
    text = "Dear all!\n 附件是后端日志报错内容,请查收~"
    zw = MIMEText(text,'plain','utf-8')
    msg.attach(zw)
    #邮件附件1
    size_mall_c = os.path.getsize('/data/admin/log_err/mall-c_err.txt')
    if size_mall_c != 0:
        mall_c_log = open('/data/admin/log_err/mall-c_err.txt',"rb")
        send_mall_c_log = mall_c_log.read()
        mall_c_log.close()
        att_1 = MIMEText(send_mall_c_log, 'base64', 'utf-8')
        att_1["Content-Type"] = "application/octet-stream"
        att_1["Content-Disposition"] = "attachment;filename = 'mall_c_err.txt'"
        msg.attach(att_1)
    #邮件附件2
    size_mall_mg = os.path.getsize('/data/admin/log_err/mall-mg_err.txt')
    if size_mall_mg != 0:
        mall_mg_log = open('/data/admin/log_err/mall-mg_err.txt',"rb")
        send_mall_mg_log = mall_mg_log.read()
        mall_mg_log.close()
        att_2 = MIMEText(send_mall_mg_log, 'base64', 'utf-8')
        att_2["Content-Type"] = "application/octet-stream"
        att_2["Content-Disposition"] = "attachment;filename = 'mall_mg_err.txt'"
        msg.attach(att_2)
    msg['to']='815618406@qq.com'
    msg['from']='815618406@qq.com'
    smtp=smtplib.SMTP_SSL('smtp.qq.com',port=465)
    #smtp=smtplib.SMTP()
    #smtp.connect('smtp.qq.com')
    #smtp.set_debuglevel(1)
    smtp.login(username,password)
    smtp.sendmail(sender,receiver,msg.as_string())
    smtp.quit()
if __name__ == '__main__':
    size_mall_c = os.path.getsize('/data/admin/log_err/mall-c_err.txt')
    size_mall_mg = os.path.getsize('/data/admin/log_err/mall-mg_err.txt')
    if (size_mall_c != 0) or (size_mall_mg != 0):
        send_mail_attch()
#!/bin/sh
#执行收集报错的脚本
sh /data/admin/log_err/monitor_log_err.sh
sleep 10
#执行发送邮件脚本
/usr/bin/python /data/admin/log_err/send_email.py

以上就是python监控日志中的报错并进行邮件报警的详细内容,更多关于python监控日志报错邮件报警的资料请关注我们其它相关文章!希望能帮到你~

(0)

相关推荐

  • python监控文件并且发送告警邮件

    本文实例为大家分享了python监控文件并发送邮件的具体代码,供大家参考,具体内容如下 一.配置文件 import time,datetime TODAY = time.time() TIME_PATH = str(TODAY.year) + "/" + str(TODAY.month) + "/" + str(datetime.datetime.now().date()) MONITOR_CONFIG = { "monitor_file":[

  • python实现自动发送报警监控邮件

    本文实例为大家分享了python自动发送报警监控邮件 的具体代码,供大家参考,具体内容如下 因为有一些日常任务需要每日检查日否执行正确,所以需要一个报警监控的机制,这个需要你指定你发送的邮箱和你接收的邮箱,就可以使用了. 这四个需要填写一下,我们使用的qq企业邮箱所以host为smtp.exmail.qq.com mail_host=""  mail_user=""  mail_pass=""  mail_postfix=""

  • python使用Windows的wmic命令监控文件运行状况,如有异常发送邮件报警

       使用Windows的wmic命令,获取可执行文件的运行状况.文件路径.PID,如果可执行文件挂掉,就重启并邮件告警. 因为监控的可执行文件的文件名一样,不好区分,所以我使用文件的绝对路径为标准来判断是否正常运行,代码及详细解释如下: # -*- coding: utf-8 -*- import os import win32api import smtplib from email.mime.text import MIMEText def get_pidWay(file_name): e

  • python脚本监控logstash进程并邮件告警实例

    supervisor虽然也能拉起来logstash进程,但是有时候supervisor也会挂,也有时会拉不起,就算拉起来了也没有邮件告警功能 ,所以编写一个python脚本监控所有服务器,以下代码只列举了一台服务器,需要更多服务器在列表里面添加就行! (日志采集过程中连续几天数据异常,由于服务器太多,当时不太想一一去将近40台服务器查看logstash进程,但又一直查不出原因,后来就每台服务器查看logstash进程,果然发现3台采集搜索日志的logstash进程没了,然后就编写了此脚本监控,效

  • 利用Python自动监控网站并发送邮件告警的方法

    前言 因为有一些网站需要每日检查是否有问题,所以需要一个报警监控的机制,这个需要你指定你发送的邮箱和你接收的邮箱,就可以做到对网站自动监控了. 这里用的是python3.5 需要安装的插件: 1.smtplib:发邮件需要用到 2.pycurl:访问网站时会需要用到 3.linecache:在读取txt网站清单时需要用到 具体思路: python程序从txt里面批量读取到网站的信息,通过Curl.py模拟浏览器去访问网站,并且把访问的结果写入到以自己的网站名称-日期.txt格式的文件中记录;有几

  • 基于python3监控服务器状态进行邮件报警

    在正式的生产环境中,我们常常会需要监控服务器的状态,以保证公司整个业务的正常运转,常常我们会用到像nagios.zabbix这类工具进行实时监控,那么用python我们怎么进行监控呢?这里我们利用了python3调用psutil和yagmail这两个模块进行监测服务器的内存.磁盘.cpu状态(以及我们监控apache运行状态用到的socket模块) 监控内存.磁盘.cpu import psutil def mem(): mem = psutil.virtual_memory() return

  • python监控日志中的报错并进行邮件报警

    目录 前言 实现思路 实现代码 前言 在测试过程中,注意力往往都在功能上,如果功能正常,是基本不会查看日志的,反之会查看日志定位问题.但是表面上的功能正常不能确保日志没有报错,不能确保其他功能点没有问题,这时我们就需要日志的监控,一旦有报错就触发报警机制(报警机制可以有邮件报警.钉钉微信发消息报警等),我选择的是发邮件报警. 实现思路 1.在测试过程中,日志时时在刷,时时监控难度太大 2.转换思路,每分钟对日志进行扫描一次,发现报错即报警 a.获取当前时间前一分钟的日志,并将日志全部写入一个文件

  • 解决安装python库时windows error5 报错的问题

    python安装库时,有时候会报错windows error 5,可以尝试关闭所有使用python的编辑器.文件等,然后重新pip安装,如果还是不行,可以将报错最下层文件删除即可(如果不放心可以将该文件先备份),记录之~ windows error错误代码: windows error错误代码: 0操作成功完成. 1功能错误. 2系统找不到指定的文件. 3系统找不到指定的路径. 4系统无法打开文件. 5拒绝访问. 6句柄无效. 7存储控制块被损坏. 8存储空间不足,无法处理此命令. 9存储控制块

  • Python 解决OPEN读文件报错 ,路径以及r的问题

    Python 中 'unicodeescape' codec can't decode bytes in position XXX: trun错误解决方案 背景描述 今天在运用Python pillow模块处理图片时遇到一个错误 SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape 刚开始以为是图片名字有中文,不识别,于是

  • Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError

    最新在学习Python的基础入门系列课程,今天学习到使用python 的内置库smtplib发送邮件内容. 使用Python发送邮件步骤简单: 创建SMTP连接 使用邮箱和密码登录SMTP服务器 创建邮件内容对象EmailMessage, 并使用set_content方法设置邮件内容 调用sendmail方法发送邮件 具体代码如下: import smtplib from email.message import EmailMessage # 定义SMTP邮件服务器地址 smtp_server

  • Python import自己的模块报错问题及解决

    目录 一.同一文件夹下 但是这个时候在PyCharm中显示的是报错 在cmd命令中执行也是成功的 二.处于不同文件夹下面 三.找到本地库的路径,然后将文件拷进去即可 四.手动给python添加搜索路径 在这里说一句Python的包搜索路径 在实际使用python时,我们会将一些公共的东西写到一些基础模块中,供其他模块去调用,这时会去import自定义的一些基础模块,然后来导入. 自己写好了脚本,然后导入,导入的情况分为以下情况: 1. 运行的模块与需要调用自定义基础模块在同一文件夹下 2. 自定

  • SpringMail使用过程中的报错解决办法

    SpringMail使用过程中的报错解决办法 1.Unable to locate provider for protocol: smtp –>缺少依赖造成的 <dependency> <groupId>javax.mail</groupId> <artifactId>mail</artifactId> <version>1.4</version> </dependency> <dependency

  • Laravel 5.4中migrate报错: Specified key was too long error的解决

    前言 大家都知道,我们经常做项目都团队协作开发,每个人都在自己本地的数据库,如果你曾经出现过让同事手动在数据库结构中添加字段的情况,数据库迁移可以解决你这个问题. 不仅如此,在线上部署的时候,也避免了手动导入数据库或手动修改数据结构的麻烦,数据迁移帮你方便的维护着数据结构. 但方便的同时也会伴随着一些问题,下面这篇文章将详细给大家介绍关于Laravel5.4中migrate报错Specified key was too long error的解决方法,下面话不多说了,来一起看看详细的介绍吧. 发

  • Python统计日志中每个IP出现次数的方法

    本文实例讲述了Python统计日志中每个IP出现次数的方法.分享给大家供大家参考.具体如下: 这脚本可用于多种日志类型,本人测试MDaemon的all日志文件大小1.23G左右,分析用时2~3分钟 代码很简单,很适合运维人员,有不足的地方请大家指出哦 #-*- coding:utf-8 -*- import re,time def mail_log(file_path): global count log=open(file_path,'r') C=r'\.'.join([r'\d{1,3}']

  • Android开发中Eclipse报错及对应处理方法总结

    本文较为详细的总结了Android开发中Eclipse报错及对应处理方法.分享给大家供大家参考,具体如下: 报错1: Conversion to Dalvik format failed with error 1 报错原因:原因是我在android工程中不小心多导入Java的mina,结果一跑程序就报这个错误. 解决方法:将Java中用到的mina包移除,就OK了. 小结:以后遇到这种报错时,记得提醒自己可能是由于自己导错包了. 附: 网上其他处理方法:<丢失Android系统库或者Conver

  • Laravel框架中VerifyCsrfToken报错问题的解决

    前言 本文主要给大家介绍了关于Laravel框架中VerifyCsrfToken报错问题的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 报错情况 form 表单进行 post 方式提交数据时,遇到如下的报错情况. TokenMismatchException in VerifyCsrfToken.php line 67: in VerifyCsrfToken.php line 67 at VerifyCsrfToken->handle(object(Request)

随机推荐