python实现定时提取实时日志程序

本文实例为大家分享了python定时提取实时日志的具体代码，供大家参考，具体内容如下

这是一个定时读取 实时日志文件的程序。目标文件是target_file. 它是应用程序实时写入的。

我要做的是，每个5秒钟，提取一次该日志文件中的内容，然后生成另一个文件，最后把这些文件都汇总。

#!/usr/local/bin/python
# coding:utf-8 

import fileinput
import time
import os 

target_file = 'user.log'
init_flag = True # 初次加载程序
time_kick = 5 

record_count = 0 

while True:
 print '当前读到了', record_count
 #没有日志文件，等待
 if not os.path.exists(target_file):
 print 'target_file not exist'
 time.sleep(time_kick)
 continue 

 try:
 ip = '10.10.1.100'
 easytime = time.strftime('%Y%m%d_%H%M%S', time.localtime())
 file_name = '%s_user_%s.log' % (ip,easytime)
 f_w = open(file_name, 'w')
 if init_flag:
  #读取整个文件
  for eachline in fileinput.input(target_file):
  print eachline
  f_w.write(eachline)
  record_count += 1 

  init_flag = False
 else:
  #如果总行数小于当前行，那么认为文件更新了，从第一行开始读。
  total_count = os.popen('wc -l %s' % target_file).read().split()[0]
  total_count = int(total_count)
  if total_count < record_count:
  record_count = 0 

  for eachline in fileinput.input(target_file):
  line_no = fileinput.filelineno()
  if line_no > record_count:
   print eachline
   f_w.write(eachline)
   record_count += 1 

 f_w.close()
 except:
 pass
 time.sleep(time_kick)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python实现监控程序执行时间并将其写入日志的方法

    本文实例讲述了Python实现监控程序执行时间并将其写入日志的方法.分享给大家供大家参考.具体实现方法如下: # /usr/bin/python # -*- coding:utf-8 -*- from time import time def logged(when): def log(f,*args,**kargs): print ''' called: functions:%s args: %r kargs: %r ''' % (f,args,kargs) def pre_logged(f)

  • Python日志无延迟实时写入的示例

    我在用python生成日志时,发现无论怎么flush(),文件内容总是不能实时写入,导致程序意外中断时一无所获. 以下是查到的解决方案(亲测可行): open 函数中有一个bufferin的参数,默认是-1,如果设置为0是,就是无缓冲模式. 但是用二进制模式打开这个文件,并且把要写入的信息转换byte -like如下. with open("test.txt",'wb',buffering=0) as f: #wb是写模式加二进制模式 f.write(b"hello!&quo

  • Python方法的延迟加载的示例代码

    数据挖掘的过程中,数据进行处理是一重要的环节,我们往往会将其封装成一个方法,而有的时候这一个方法可能会被反复调用,每一次都对数据进行处理这将是一个很耗时耗资源的操纵,那么有没有办法将计算后的结果 缓存 起来达到 调用一次,处处运行 的效果,经过一番研究在 lazy_object_proxy/utils.py 中发现了一段代码,详见lazy_object_proxy. class cached_property(object): def__init__(self, func): self.func

  • python实现定时提取实时日志程序

    本文实例为大家分享了python定时提取实时日志的具体代码,供大家参考,具体内容如下 这是一个定时读取 实时日志文件的程序.目标文件是target_file. 它是应用程序实时写入的. 我要做的是,每个5秒钟,提取一次该日志文件中的内容,然后生成另一个文件,最后把这些文件都汇总. #!/usr/local/bin/python # coding:utf-8 import fileinput import time import os target_file = 'user.log' init_f

  • python和websocket构建实时日志跟踪器的步骤

    python和websocket构建实时日志跟踪器的步骤

    前言 websocket 是一种网络传输协议.可在单个 TCP 连接上进行全双工通信.基于此,websocket 使得客户端与服务端的通信变得更加简便和高效. 什么是 websocket websocket 是独立的.创建在 TCP 上的协议.该协议在 2008 年诞生,并在 2011 年成为国际标准.它的一个主要特点是--全双工,即一旦建立连接,服务端或客户端可以主动向对方推送消息. 在 websocket 出现之前,网站如果需要实现推送技术,都是采用轮询的方式,即浏览器每隔一段时间就向服务器

  • python实现tail实时查看服务器日志示例

    我就废话不多说了,直接上代码吧! import paramiko from paramiko_expect import SSHClientInteraction host = your host port = your port username = your un # 自行修改输出函数 json_list = [] def output_func(msg): sys.stdout.write(msg) json_list.append(msg) sys.stdout.flush() def

  • SAE实时日志接口SDK用法示例

    本文实例讲述了SAE实时日志接口SDK用法.分享给大家供大家参考,具体如下: 新浪SAE是新浪研发中心开发的国内首个公有云平台,从2009年开始到现在也是也来越成熟,开放了很多接口以及服务供开发者使用.这次为了方便开发者调试分析,SAE新增实时日志查询接口.今后您可以通过API对日志信息进行筛选,并下载所需的实时日志.但是新浪SAE官方只给出的Python的实现,这里给出PHP版本的接口调用SDK class SaeApiHandler{ /** * 定义accessKey */ private

  • 基于python实现高速视频传输程序

    今天要说的是一个高速视频流的采集和传输的问题,我不是研究这一块的,没有使用什么算法,仅仅是兴趣导致我很想搞懂这个问题. 1,首先是视频数据[摄像头图像]的采集,通常可以使用vfw在vc或者vb下实现,这个库我用的不好,所以一直不怎么会用.现在我们用到的是python的videocapture库,这个库用起来很简单,如下: from VideoCapture import Device cam = Device() cam.setResolution(320,240) #设置显示分辨率 cam.s

  • python 调用pyautogui 实时获取鼠标的位置、移动鼠标的方法

    PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,利用它可以实现自动化任务 本章介绍了许多不同函数,下面是快速的汇总参考: moveTo(x,y)将鼠标移动到指定的 x.y 坐标. moveRel (xOffset,yOffset)相对于当前位置移动鼠标. dragTo(x,y)按下左键移动鼠标. dragRel (xOffset,yOffset)按下左键,相对于当前位置移动鼠标. click(x,y,button)模拟点击(默认是左键). ri

  • Python+OpenCV实现实时眼动追踪的示例代码

    Python+OpenCV实现实时眼动追踪的示例代码

    使用Python+OpenCV实现实时眼动追踪,不需要高端硬件简单摄像头即可实现,效果图如下所示. 项目演示参见:https://www.bilibili.com/video/av75181965/ 项目主程序如下: import sys import cv2 import numpy as np import process from PyQt5.QtCore import QTimer from PyQt5.QtWidgets import QApplication, QMainWindow

  • 如何在Python项目中引入日志

    如何在Python项目中引入日志

    Logging模块的使用 简单使用 Logging 模块提供了一系列便利的函数 它们分别是 debug(), info(), warning(), error(), critical() import logging logging.debug('debug log test') logging.info('info log test') logging.warning('warning log test') logging.error('error log test') logging.cri

  • Python基于time模块求程序运行时间的方法

    Python基于time模块求程序运行时间的方法

    本文实例讲述了Python基于time模块求程序运行时间的方法.分享给大家供大家参考,具体如下: 要记录程序的运行时间可以利用Unix系统中,1970.1.1到现在的时间的毫秒数,这个时间戳轻松完成. 方法是程序开始的时候取一次存入一个变量,在程序结束之后取一次再存入一个变量,与程序开始的时间戳相减则可以求出. Python中取这个时间戳的方法为引入time类之后,使用time.time();就能够拿出来.也就是Java中的System.currentTimeMillis(). 由于Python

  • python实现的重启关机程序实例

    本文实例讲述了Python实现的重启关机程序的方法,对Python程序设计有一定的参考价值.具体方法如下: 实例代码如下: #!/usr/bin/python #coding=utf-8 import time from os import system runing = True while runing: input = raw_input('关机(s)OR重启(r)?(q退出)') input = input.lower() if input == 'q' or input =='quit

随机推荐