PHP 采集程序原理分析篇

苦想了几天，终于弄明白了里面的道理。在这里写出来，请高手指正。
采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。

首先确定一个采集页，一般就是列表面了。这里目标是:http://www.jb51.net/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。

有列表页了，第一步先打开它，把它的内容纳入到我们的程序中来。一般用fopen或是file_get_contents这两个函数，我们这里用fopen作例子。怎么打开它呢？很简单：$source=fopen("http://www.jb51.net/article/11/index.htm",'r')；实际上已经把内容纳入到我们的程序中来了。注意得到的$source是一个资源，不是可处理的文本，所以再用函数fread将内容读到一个变量中，这次就是真正的可编辑的文本了。例子：
$content=fread($source,99999);后面的数字表示字节数，填个大的就行。你用file_put_contents将$content写入到一个文本文件，可以看出里面的内容其实就是网页的源码。得到了网页的源码，我们就要分析里面的文章链接地址，这里要用到正则表达式了，[推荐正则表达式教程（http://www.jb51.net/article/7/all/545.1.htm）]。通过查看源代码，我们可以看到里面文章的链接地址全是这个样子<div class="in_arttitle"><a href="http://www.jb51.net/article/10/all/273.1.htm">　　将数据库连接代码封装在函数里，在需要读取时调用..</a>
我们就可以写正则表达式了。$count=preg_match_all("/<div class=\"in_arttitle\"><a\shref=\"(.+?)\">(.+?)<\/a>/",$content,$art_list);
其中数组$art_list[1][$s]里面包含的就是某个文章的链接地址。而$art_list[2][$s]包含的就是某一文章的标题。到了这一步就可以算成功了一半了。
接着用for循环依次打每个链接，然后像取得标题一样的方法取得内容即可。以上这些和我在网上找的教程都差不多，但是到了这个for循环网上的教程可就差劲，还没找到一篇可以说清这个事的文章，刚开始我是用js来帮助循环的，还是用实例说吧，刚开始我是这样做的：
for($i=0;$i<20;4i++ {
中间就是采集内容的部分了，省略了
采集了一页，肯定要采集再一页啊
可是再用fopen打开链接时就不行了。请求失败什么的，用js也不行，最后才知道要用这句echo "<META HTTP-EQUIV=REFRESH CONTENT='0;URL=aa.php?id=1'>";其中aa.php就是我们的程序的文件名， id后面的数字就可以帮助我们实现循环，采集多个页面。这就是能真正循环起来的关键
}
脑子有点难受，写得有点乱，将就着看吧，在高手看来这可能没什么大不了的，可是对于我等菜鸟来说，实在是很有帮助。

赞 (0)

相关推荐

  • PHP 采集程序原理分析篇

    苦想了几天,终于弄明白了里面的道理.在这里写出来,请高手指正. 采集程序的思路很简单,无非就是先打一个页面,一般都是列表页,取得里面全部链接的地址,然后打开逐条链接,寻找我们感兴趣的东西,如果找到,就把它入库或别的处理.下面以一个很简单的例子来说说. 首先确定一个采集页,一般就是列表面了.这里目标是:http://www.jb51.net/article/11/index.htm.这是一个列表页,我们的目的就是采集这个列表页上全部的文章. 有列表页了,第一步先打开它,把它的内容纳入到我们的程序中

  • asp 小偷采集程序原理与常用函数方法

    用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有: 不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些. 一.事例 下面就XMLHTTP在ASP中的应用做个简单说明 复制代码 代码如下: <% '常用函数 '1.输入url目标网页地址,返回值getH

  • c病毒程序原理分析(防范病毒 c语言小病毒示例)

    病毒的特点: 病毒的最大特点就是自我复制,从病毒的分类来说有很多种,这里我们将介绍最流行的附加式病毒,它通过对正常的文件进行改写,增加来实现其自我复制的目的.从程序的角度来说,我们要做的事情有两件: 1,让程序能够将自己在不影响其它程序本身工作的情况下复制给其它程序,使它具备继续复制的能力. 2,在一定条件下使其产生某种发作效果.其实第一件事情实际上可以看成对文件进行复制,把病毒源文件的功能函数全部放到被感染文件的最后,同时在被感染文件中调用这个函数 下面给出c语言的实现过程:1,主程序调用病毒

  • PHP实现采集程序原理和简单示例代码

    <entry SKIPIFREF="YES">  <title>I Believe In Love</title>  <author> 蓝牙音乐网 - 8391.com</author>  <copyright> 蓝牙音乐网 - 8391.com</copyright>  <ref href="http://218.78.213.183:880/daolianmtvfuc________

  • asp 采集程序常用函数分析

    原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

  • Java中注解与原理分析详解

    Java中注解与原理分析详解

    目录 一.注解基础 二.注解原理 三.常用注解 1.JDK注解 2.Lombok注解 四.自定义注解 1.同步控制 2.类型引擎 一.注解基础 注解即标注与解析,在Java的代码工程中,注解的使用几乎是无处不在,甚至多到被忽视: 无论是在JDK源码或者框架组件,都在使用注解能力完成各种识别和解析动作:在对系统功能封装时,也会依赖注解能力简化各种逻辑的重复实现: 基础接口 在Annotation的源码注释中有说明:所有的注解类型都需要继承该公共接口,本质上看注解是接口,但是代码并没有显式声明继承关

  • Python构建网页爬虫原理分析

    既然本篇文章说到的是Python构建网页爬虫原理分析,那么小编先给大家看一下Python中关于爬虫的精选文章: python实现简单爬虫功能的示例 python爬虫实战之最简单的网页爬虫教程 网络爬虫是当今最常用的系统之一.最流行的例子是 Google 使用爬虫从所有网站收集信息.除了搜索引擎之外,新闻网站还需要爬虫来聚合数据源.看来,只要你想聚合大量的信息,你可以考虑使用爬虫. 建立一个网络爬虫有很多因素,特别是当你想扩展系统时.这就是为什么这已经成为最流行的系统设计面试问题之一.在这篇文章中

  • 详解C++中虚析构函数的作用及其原理分析

    详解C++中虚析构函数的作用及其原理分析

    C++中的虚析构函数到底什么时候有用的,什么作用呢. 一.虚析构函数的作用 总的来说虚析构函数是为了避免内存泄露,而且是当子类中会有指针成员变量时才会使用得到的.也就说虚析构函数使得在删除指向子类对象的基类指针时可以调用子类的析构函数达到释放子类中堆内存的目的,而防止内存泄露的. 我们知道,用C++开发的时候,用来做基类的类的析构函数一般都是虚函数.可是,为什么要这样做呢?下面用一个小例子来说明: #include<iostream> using namespace std; class Cl

  • java中TESTful架构原理分析

    java中TESTful架构原理分析

    目录 1. 什么是REST 2. 理解RESTful 2. 1 资源与URI 2. 2 统一资源接口 GET POST PUT DELETE 2. 3 资源的表述 在URI里边带上版本号 使用URI后缀来区分表述格式 如何处理不支持的表述格式 2. 4 资源的链接 2. 5 状态的转移 2. 5.1 应用状态与资源状态 2. 5.2 应用状态的转移 3. 总结 1. 什么是REST REST全称是Representational State Transfer,中文意思是表述(编者注:通常译为表征

  • C++ 内存管理原理分析

    C++ 内存管理原理分析

    1.C/C++中程序内存分布 C/C++中程序内存区域大致划分为:内核空间(这部分用户不能读写).栈.内存映射段.堆.数据段(存储全局数据.静态数据).代码段(存储可执行代码.只读常量,又称常量区). 1.1 内存分布图 1.2 小试牛刀 接下来看下如下代码,思考下每一个变量分别在哪个内存区域? int globalVar = 1; static int staticGlobalVar = 1; void test() { static int staticVar = 1; int localV

随机推荐