php IIS日志分析搜索引擎爬虫记录程序第1/2页

使用注意:
  修改iis.php文件中iis日志的绝对路径
  例如:$folder=”c:/windows/system32/logfiles/站点日志目录/”; //后面记得一定要带斜杠(/)。
  ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看!
  直接查看法:http://站点域名/iis.php
  本地查看法:把日志下载到本地 http://127.0.0.1/iis.php )
  注意:
  //站点日志目录,注意该目录必须要有站点用户读取权限!
  //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。
  //修改文件名称iis.php 需要同时修改对应代码 ctrl+h 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。
  //如果iis日志文件过大,可能会导致程序超时!同时也不建议大家使用! 
以下是PHP源代码:
[code]
<?php
 /*
  牛仔IIS日志蜘蛛爬行记录分析器 V1.1(PHP GB2312 版)
  作者:牛仔
  QQ:172379201
  Email:17gd@163.com
 */
 //===================================================
  header("content-type:text/html; charset=gb2312");
 //站点日志目录,注意该目录必须要有站点用户读取权限!
 $folder="C:/WINDOWS/system32/LogFiles/W3SVC1155699908/";//后面记得一定要带斜杠!
 $pagesize = 25;//设置分页显示条数!
 //=========================
$type = addslashes($_GET['type']);
if ($type)$type = base64_decode($type);
$showfile = addslashes($_GET['showfile']);
$page = addslashes($_GET['page']);
if (!$page)$page=1;
//============================
 //打开目录
 if (!$type){
    if (file_exists($folder))
    {
        $fp=opendir($folder);
        while(false!=$file=readdir($fp))
        {
        if($file!='.' &&$file!='..')
        {
            $file="$file";
            $arr_file[]=$file;
        }
        }
     if(is_array($arr_file))
     {
         for ($i=count($arr_file)-1;$i>=0;$i--)
         {
             $indexstr.="<tr><td height=\"25\" width=\"25%\">".date("Y-m-d",filectime($folder.$arr_file[$i]))."</td>
        <td height=\"25\" width=\"25%\" align=\"center\"><a href=\"iisfile.php?type=".base64_encode(Baiduspider)."&showfile=".$arr_file[$i]."\">百度(Baidu)</a></td>
        <td height=\"25\" width=\"25%\" align=\"center\"><a href=\"iisfile.php?type=".base64_encode(Googlebot)."&showfile=".$arr_file[$i]."\">谷歌(Google)</a></td>
        <td height=\"25\" width=\"25%\" align=\"center\"><a href=\"iisfile.php?type=".base64_encode(yahoo)."&showfile=".$arr_file[$i]."\">雅虎(yahoo)</a></td></tr>";
         }

}
    closedir($fp);
    $html = indexhtml();
    $copy = mycopy();
    $html = str_replace("[showlog]",$indexstr,$html);
    $html = str_replace("[copy]",$copy,$html);
    echo $html;
}else{
        echo "该日志目录不存在或权限不足,请检查设置!";
        exit();
    }
 }elseif ($type=='Baiduspider'){
     echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=='Googlebot'){
     echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type=='yahoo'){
     echo show($type,$folder,$showfile,$page,$pagesize);
 }

function show($type,$folder,$showfile,$page,$pagesize)
{
    if ($type=='Baiduspider')
    {
        $title='百度';
    }elseif ($type=='Googlebot'){
        $title='谷歌';
    }elseif ($type=='yahoo'){
        $title='雅虎';
    }
    if ($type&&$folder&&$showfile)
    {
        if(file_exists($folder.$showfile))
        {
        $fp= fopen($folder.$showfile,"r");
        }else{
            echo "该日志文件不存在,请检查设置!";
            exit;
        }
        $j=0;
        $y=0;
        $t=0;
        $h=0;
        while (!feof($fp))
        {
            $str = fgets($fp);
                $str =iconv("UTF-8","GB2312//IGNORE",$str);
            if(strpos($str,$type))
            {
                $j++;
                $temp[].=$str;
                $tmpcount = explode(" ",$str);
                if ($tmpcount[11]==200)$t++;
                if ($tmpcount[11]==304)$h++;
                if ($tmpcount[11]==404)$y++;
            }
        }
        fclose($fp);
        $count = count($temp);
        if ($page==1)
        {
            $countshow=$count;
            $mynum = $count-$pagesize;
        }else{
            $countshow =$count-($page*$pagesize-$pagesize);
            $mynum = $count-$page*$pagesize;
        }
        $pagecount =ceil(count($temp) / $pagesize);
        if ($page>=$pagecount)
        {
            $mynum = $pagecount;
        }
        $m=0;
        for ($i=$countshow-1;$i>=$mynum;$i--)
        {
            $num = explode(" ",$temp[$i]);
                $show.="
                    <tr>
                    <td heigth\"20\">".$num[0]." ".$num[1]."</td>
                    <td>".$num[9]."</td>
                    <td><a href=\"".rawurlencode($num[5])."\" target=\"_blank\">".$num[5]."</a></td>
                    <td>".$num[11]."</td>
                    </tr>";
        }
        unset($temp);
        $showpage = "<td colspan=\"4\" height=\"30\" align=\"center\">每页 ".$pagesize." 条 当前".$page."/$pagecount";
        $showpage.="  <a href=\"?type=".base64_encode($type)."&showfile=".$showfile."\">首页</a>";
        if ($page!=1)
        {
            $showpage.="  <a href=\"?type=".base64_encode($type)."&showfile=".$showfile."&page=".($page-1)."\">上一页</a>";
        }
        if ($page!=$pagecount)
        {
        $showpage.="  <a href=\"?type=".base64_encode($type)."&showfile=".$showfile."&page=".($page+1)."\">下一页</a>";
        $weei = "  <a href=\"?type=".base64_encode($type)."&showfile=".$showfile."&page=".($pagecount)."\">尾页</a>";
        }
        $showpage.=$weei."</td>";
        if ($show)
        {
        $html = pagehtml();
        $copy = mycopy();
        $htmltitle = "牛仔IIS日志蜘蛛爬行记录分析器-";//请保留,谢谢!
        $html = str_replace("[title]",$title,$html);
        $html = str_replace("[htmltitle]",$htmltitle,$html);
        $html = str_replace("[show]",$show,$html);
        $html = str_replace("[count]",$j,$html);
        $html = str_replace("

当前1/2页 12下一页阅读全文

(0)

相关推荐

  • 使用Python多线程爬虫爬取电影天堂资源

    最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载.刚开始学习python希望可以获得宝贵的意见. 先来简单介绍一下,网络爬虫的基本实现原理吧.一个爬虫首先要给它一个起点,所以需要精心选取一些URL作为起点,然后我们的爬虫从这些起点出发,抓取并解析所抓取到的页面,将所需要的信息提取出来,同时获得的新的URL插入到队列中作为下一次爬取的起点.这样不断地循环,一直到获得你想得到的所有的信息爬虫的任务

  • Python多线程爬虫简单示例

    python是支持多线程的,主要是通过thread和threading这两个模块来实现的.thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用. 虽然python的多线程受GIL限制,并不是真正的多线程,但是对于I/O密集型计算还是能明显提高效率,比如说爬虫. 下面用一个实例来验证多线程的效率.代码只涉及页面获取,并没有解析出来. # -*-coding:utf-8 -*- import urllib2, time import thread

  • Python多线程、异步+多进程爬虫实现代码

    安装Tornado 省事点可以直接用grequests库,下面用的是tornado的异步client. 异步用到了tornado,根据官方文档的例子修改得到一个简单的异步爬虫类.可以参考下最新的文档学习下. pip install tornado 异步爬虫 #!/usr/bin/env python # -*- coding:utf-8 -*- import time from datetime import timedelta from tornado import httpclient, g

  • php与python实现的线程池多线程爬虫功能示例

    本文实例讲述了php与python实现的线程池多线程爬虫功能.分享给大家供大家参考,具体如下: 多线程爬虫可以用于抓取内容了这个可以提升性能了,这里我们来看php与python 线程池多线程爬虫的例子,代码如下: php例子 <?php class Connect extends Worker //worker模式 { public function __construct() { } public function getConnection() { if (!self::$ch) { sel

  • PHP+HTML+JavaScript+Css实现简单爬虫开发

    开发一个爬虫,首先你要知道你的这个爬虫是要用来做什么的.我是要用来去不同网站找特定关键字的文章,并获取它的链接,以便我快速阅读. 按照个人习惯,我首先要写一个界面,理清下思路. 1.去不同网站.那么我们需要一个url输入框. 2.找特定关键字的文章.那么我们需要一个文章标题输入框. 3.获取文章链接.那么我们需要一个搜索结果的显示容器. <div class="jumbotron" id="mainJumbotron"> <div class=&q

  • 基python实现多线程网页爬虫

    一般来说,使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里,让它来执行. 另一种是直接从Thread继承,创建一个新的class,把线程执行的代码放到这个新的class里. 实现多线程网页爬虫,采用了多线程和锁机制,实现了广度优先算法的网页爬虫. 先给大家简单介绍下我的实现思路: 对于一个网络爬虫,如果要按广度遍历的方式下载,它是这样的: 1.从给定的入口网址把第一个网页下载下来 2.从第一个网页中提取出所有新的网页地址,放入下载列表中 3.按下载列表中的地

  • PHP代码实现爬虫记录——超管用

    实现爬虫记录本文从创建crawler 数据库,robot.php记录来访的爬虫从而将信息插入数据库crawler,然后从数据库中就可以获得所有的爬虫信息.实现代码具体如下: 数据库设计 create table crawler ( crawler_ID bigint() unsigned not null auto_increment primary key, crawler_category varchar() not null, crawler_date datetime not null

  • python实现爬虫统计学校BBS男女比例之多线程爬虫(二)

    接着第一篇继续学习. 一.数据分类 正确数据:id.性别.活动时间三者都有 放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % (startNum, endNum) 数据格式为293001 男 2015-5-1 19:17 没有时间:有id.有性别,无活动时间 放这个文件里file2 = 'ruisi\\errTime%s-%s.txt' % (startNum, endNum) 数据格式为2566 女 notime 用户不存在:该id没有对应的用户 放这个文件

  • 一个PHP实现的轻量级简单爬虫

    最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索.所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页.现在正在想办法着手处理这些数据. 爬虫的结构:    爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始.在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php.它支持perl兼容正则表达式,连接mysql很方 便,支

  • php 向访客和爬虫显示不同的内容

    听说本方法会触犯搜索引擎的一些操作原则, 有可能被被各搜索引擎处罚, 甚至删除网站. 所以我刚刚已经撤下这样的处理, 直到确定其不属于作弊. 有魄力的朋友可以继续使用, 但后果自负. 本博客的首页和存档页面以列表的形式显示文章, 在访客点击展开文章时才加载文章的内容. 因为文章的内容部分包含了大量的文字和图片, 需要大量的加载时间和流量. 尽快地向访客展示网页可以挽留大量的来访者. 而对于手机用户来说, 加载时间和流量则更为重要. 一般来说, 网站的首页是搜索引擎访问最多的页面, 应该尽可能的向

随机推荐