lua日志文件处理代码

目前我找到的文件夹的搜索工具,最多可以完成把搜索到的单行的内容,进行输出出来,或者进行一些简单的处理,但是不够灵活。

因此就用lua自己写了个,可以完成自己定义搜索处理函数,进行一些数据的处理,省去了将搜索结果放到excel中再处理的过程。

-- search_log.lua

tbResult = {};
tbCmdResult = {};

local szTmpFolderPath = os.getenv("temp");
if not szTmpFolderPath then
 os.execute("md c:\\temp")
 szTmpFolderPath = "c:\\temp";
end

local tbSpecialWorld =
{
 ["("] = "%(", [")"] = "%)", ["."] = "%.", ["%"] = "%%",
 ["+"] = "%+", ["-"] = "%-", ["*"] = "%*", ["?"] = "%?",
 ["["] = "%[", ["]"] = "%]", ["^"] = "%^", ["$"] = "%$",
};
function FormatCmd(szCmd)
 return string.gsub(szCmd, ".", function(s) return tbSpecialWorld[s] or s; end)
end

function FormatPath(szPath)
 string.gsub(szPath, "[\\/]$", "");
 return string.gsub(szPath, "/", "\\");
end

function CheckFile(szFilePath)
 local file = io.open(szFilePath, "rb");
 if not file then
   return;
 end
 file:close();
 return true;
end

function OpenFile(szFilePath)
 if not CheckFile(szFilePath) then
   return;
 end

 local tbFile = {};
 for line in io.lines(szFilePath) do
   table.insert(tbFile, line);
 end

 return tbFile;
end

function SearchFile(szFilePath, szCmd, fnCmd2Line, fnFileName)
 local tbFile = OpenFile(szFilePath);
 if not tbFile then
   return;
 end

 tbResult[szFilePath] = tbResult[szFilePath] or {};
 local szCmdResult = "";
 for nLine, szLine in ipairs(tbFile) do
   if string.match(szLine, szCmd) then
     szCmdResult = fnCmd2Line(szLine);
     if szCmdResult and szCmdResult ~= "" then
       table.insert(tbCmdResult, szCmdResult);
     end
     table.insert(tbResult[szFilePath], nLine .. ":" .. szLine);
   end
 end

 return 1;
end

function Cmd2Line(szLine)
 return;
end

function CheckName(szFileName)
 return true;
end

function SearchDir(szFolderPath, szCmd, fnCmd2Line, fnCheckName, nIdx)
 if not szCmd or szCmd == "" then
   return;
 end

 local fnCmd2Line = fnCmd2Line or Cmd2Line;
 local fnCheckName = fnCheckName or CheckName;
 local nIdx = nIdx or 0;

 local szTmpFileName = szTmpFolderPath .. "\\SearchDirTemp" .. nIdx .. ".tmp";
 os.execute("dir /b ".. szFolderPath .." >" .. szTmpFileName);

 local tbFile = OpenFile(szTmpFileName);
 if not tbFile or #tbFile == 0 then
   return;
 end

 local szPath = "";
 for _, szFileName in ipairs(tbFile) do
   szPath = szFolderPath .. "\\" .. szFileName;
   if not CheckFile(szPath) then
     SearchDir(szPath, szCmd, fnCmd2Line, nIdx + 1);
    else
      if CheckName(szFileName) then
        SearchFile(szPath, szCmd, fnCmd2Line);
      end
    end
  end
end

function Write2File(szInfo, szFilePath)
  local file = io.open(szFilePath, "w");
  if not file then
    print(szInfo);
    print("Write2File ERR ?? not file " .. szFilePath);
    return;
  end

  file:write(szInfo);
  file:close();
end

function DoSearchDir(szFolderPath, szCmd, tbParam)
  if not szFolderPath or szFolderPath == "" or not szCmd or szCmd == "" then
    return;
  end

  tbParam = tbParam or {};

  szFolderPath = FormatPath(szFolderPath);
  if tbParam.bIsMatch then
    szCmd = FormatCmd(szCmd);
  end
  local nTime = os.time();
  SearchDir(szFolderPath, szCmd, tbParam.fnCmd2Line or Cmd2Line, tbParam.fnCheckName or CheckName, 0);
  nTime = os.time() - nTime;
  print("搜索用时:" .. nTime);

  local szResultPath = tbParam.szResultPath or (szTmpFolderPath .. "\\result.tab.tmp");
  local szResult = "";
  for szFilePath, tbInfo in pairs(tbResult) do
    szResult = szResult .. szFilePath .. "\n";
    for _, szLine in pairs(tbInfo) do
      szResult = szResult .. szLine .. "\n";
    end
  end
  Write2File(szResult, szResultPath);

  local szCmdResult = "";
  for _, szLine in pairs(tbCmdResult) do
    szCmdResult = szCmdResult .. szLine .. "\n";
  end
  Write2File(szCmdResult, tbParam.szCmdResultPath or (szTmpFolderPath .. "\\cmd_result.tab.tmp"));
end

--tbParam =
--{
--  bIsMatch = false;  -- 是否使用正则方式搜索
--  fnCmd2Line = function () end; -- 自定义搜索行内容处理函数
--  fnCheckName = function () end; -- 文件名限定函数
--  szResultPath = "e:\\result.tab"; -- 文件搜索内容输出路径
--  szCmdResultPath = "e:\\cmd_result.tab"; -- 自定义处理函数返回内容储存路径
--}

使用代码可以如下(貌似支持网络路径的):

dofile("e:\\search_log.lua");
tbTmpInfo = {};
function CheckInfo(szLine)
 local szPlayerName, nPlayerId, nCount = string.match(szLine, "^.*szType = final\t[^\t]+\t%d+\t([^\t]+)\t(%d+)\t(%d+).*$");
 nPlayerId = tonumber(nPlayerId);
 nCount = tonumber(nCount);
 if nCount > tbTmpInfo[nPlayerId] then
   tbTmpInfo[nPlayerId] = nCount;
    return "" .. nPlayerId .. "\t" .. nCount;
  end
  return;
end
tbParam =
{
  bIsMatch = false;
  fnCmd2Line = CheckInfo;
  fnCheckName = function () return true; end;
  szResultPath = "e:\\result.tab";
  szCmdResultPath = "e:\\cmd_result.tab";
}
DoSearchDir("d:\\logs", "szType = final", tbParam);
for _, szInfo in pairs(tbTmpInfo) do
  print(szInfo);
end

唯一不满意的地方貌似是搜索速度有点慢,以后有空再调整吧,现在这个暂时够用了,至少比原来方便多了~~

(0)

相关推荐

  • Lua函数与字符串处理简明总结

    函数的定义是以function关键字开始的,后面函数的名称,然后是要传递给函数的参数,如果没有参数传给函数,仍然需要用()来表示一个空的参数列表,以end关键字结尾. 复制代码 代码如下: function 函数名()  ...  ...  ... end 1. 单一参数 复制代码 代码如下: function F_1(var)  print("My website is: "  var) end 参数var传递给了函数,并在函数中使用,同时,函数中的参数是局部变量,在函数调用结束后被

  • Lua极简入门指南(三): loadfile和错误处理

    编译 Lua 虽然是解释性语言,但 Lua 源码总是被编译为中间形式后再执行. dofile 用于载入并执行一个 Lua 文件,相比之下,loadfile 用于载入一个 Lua 文件,但并不执行,确切的说 loadfile 编译了一个 chunk,并返回此被编译的 chunk(被作为一个函数): 复制代码 代码如下: c = loadfile('./test.lua') c() dofile 可以被实现为: 复制代码 代码如下: function dofile(filename)     loc

  • 浅析Lua编程中的异常处理

     需要进行错误处理 错误处理是必要的,因为真实世界中的操作通常需要使用复杂的操作,包括文件操作,数据库事务和web服务调用.没人关心错误的业务,涉及保密信息或金钱交易时造成大的损失. 在任何编程,总是有错误处理的要求.错误可以是两种类型,其中包括, 语法错误 运行时错误 语法错误 因使用不当造成的各种程序组件,如运算符和表达式中出现语法错误.一个简单的例子中的语法错误如下所示. 复制代码 代码如下: a == 2 如你所知,有使用单一等于和双等于之间的差异.使用一个替代其他可导致错误.等于是指分

  • Lua中简单的错误处理实例

    昨天遇到另外一位独立游戏开发者,所以多聊了一会,然后-然后就没有看书了.(小若:借口!借口!)   今天来聊聊错误处理吧,不过毕竟这只是前面的章节,书上的内容似乎有点一笔带过的味道. 没关系,简单更好~ 1.红色警报--error 我们应该能经常看到类似以下的错误信息: 复制代码 代码如下: [LUA-print] LUA ERROR: [string "src/main.lua"]:108: [string "src/main.lua"]:89: attempt

  • Lua读取和写入文件处理例子

    一.文件读存: 复制代码 代码如下: -- 似乎不支持大文件(不能超过9k?) function FileSaveLoad()       local file = io.open("c:\\in.lua", "r");       assert(file);       local data = file:read("*a"); -- 读取所有内容       file:close();       file = io.open("c

  • Lua中的异常处理pcall、xpcall、debug使用实例

    如果需要在Lua中处理错误,必须使用函数pcall(protected call)来包装需要执行的代码. pcall接收一个函数和要传递个后者的参数,并执行,执行结果:有错误.无错误:返回值true或者或false, errorinfo 复制代码 代码如下: if pcall(function_name, -.) then -- no error else -- some error end 简单示例 复制代码 代码如下: > =pcall(function(i) print(i) end, 3

  • lua日志文件处理代码

    目前我找到的文件夹的搜索工具,最多可以完成把搜索到的单行的内容,进行输出出来,或者进行一些简单的处理,但是不够灵活. 因此就用lua自己写了个,可以完成自己定义搜索处理函数,进行一些数据的处理,省去了将搜索结果放到excel中再处理的过程. -- search_log.lua tbResult = {}; tbCmdResult = {}; local szTmpFolderPath = os.getenv("temp"); if not szTmpFolderPath then os

  • Sqlserver2005日志文件太大如何减小

    Sqlserver2005日志文件太大,使其减小的方法如下所示: 运行下面的三行 dbName为数据库名: backup log dbNamewith NO_LOG backup log dbNamewith TRUNCATE_ONLY DBCC SHRINKDATABASE(dbName) 日志文件减小到1MB sql server清空日志文件2011-04-06 23:05 1: 删除LOG 1:分离数据库 企业管理器->服务器->数据库->右键->分离数据库 2:删除LOG文

  • 教你自动恢复MySQL数据库的日志文件(binlog)

    如果MySQL服务器启用了二进制日志,你可以使用mysqlbinlog工具来恢复从指定的时间点开始 (例如,从你最后一次备份)直到现在或另一个指定的时间点的数据."mysqlbinlog:用于处理二进制日志文件的实用工具". 要想从二进制日志恢复数据,你需要知道当前二进制日志文件的路径和文件名.一般可以从选项文件(即my.cnf or my.ini,取决于你的系统)中找到路径.如果未包含在选项文件中,当服务器启动时,可以在命令行中以选项的形式给出.启用二进制日志的选项为 --log-b

  • SQL Server 2005删除日志文件的几种方法小结

    使用MS数据库的朋友就会知道一个问题,C盘的空间很容易被占满了.因为本来系统盘就分区比较小,这是由于数据库在使用过程中会使日志文件不断增加,使得数据库的性能下降,并且占用大量的磁盘空间.SQL Server数据库都有log文件,log文件记录用户对数据库修改的操作.可以通过直接删除log文件和清空日志在清除数据库日志. 一.删除LOG1.分离数据库.分离数据库之前一定要做好数据库的全备份,选择数据库--右键--任务--分离. 勾选删除连接 分离后在数据库列表将看不到已分离的数据库. 2.删除LO

  • MongoDB日志文件过大的解决方法

    MongoDB的日志文件在设置 logappend=true 的情况下,会不断向同一日志文件追加的,时间长了,自然变得非常大. 解决如下:(特别注意:启动的时候必须是--logpath指定了log路径的) 用mongo连接到服务端 复制代码 代码如下: use admin  //切换到admin数据库 db.runCommand({logRotate:1}) 这样会使mongo关闭当前日志文件,重启一个新的日志文件,不需要停止mongodb服务.

  • apache日志文件详解和实用分析命令

    一.日志分析 如果apache的安装时采用默认的配置,那么在/logs目录下就会生成两个文件,分别是access_log和error_log 1).access_log access_log为访问日志,记录所有对apache服务器进行请求的访问,它的位置和内容由CustomLog指令控制,LogFormat指令可以用来简化该日志的内容和格式 例如,我的其中一台服务器配置如下: 复制代码 代码如下: CustomLog "| /usr/sbin/rotatelogs /var/log/apache

  • java自定义日志输出文件(log4j日志文件输出多个自定义日志文件)

    log4j输出多个自定义日志文件 如果在实际应用中需要输出独立的日志文件,怎样才能把所需的内容从原有日志中分离,形成单独的日志文件呢? 先看一个常见的log4j.properties文件,它是在控制台和test.log文件中记录日志: 复制代码 代码如下: log4j.rootLogger=DEBUG, stdout, logfile log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layo

  • Python解析nginx日志文件

    项目的一个需求是解析nginx的日志文件. 简单的整理如下: 日志规则描述 首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_f

  • python解析基于xml格式的日志文件

    大家中午好,由于过年一直还没回到状态,好久没分享一波小知识了,今天,继续给大家分享一波Python解析日志的小脚本. 首先,同样的先看看日志是个啥样. 都是xml格式的,是不是看着就头晕了??没事,我们先来分析一波. 1.每一段开头都是catalina-exec,那么我们就按catalina-exec来分,分了之后,他们就都是一段一段的了. 2.然后,我们再在已经分好的一段段里面分,找出你要分割的关键字,因为是xml的,所以,接下来的工作就简单了,都是一个头一个尾的. 3.但是还有一个问题,有可

  • Mysql日志文件和日志类型介绍

    日志文件类型 MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情: 日志文件 记入文件中的信息类型 错误日志 记录启动.运行或停止mysqld时出现的问题. 查询日志 记录建立的客户端连接和执行的语句. 更新日志 记录更改数据的语句.不赞成使用该日志. 二进制日志 记录所有更改数据的语句.还用于复制. 慢日志 记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询. 默认情况下,所有日志创建于mysqld数据目录中.通过刷新日志,你可以强制 mys

随机推荐