ASP下实现自动采集程序及入库的代码

最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.
原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。
简单事例:


代码如下:

<% 
 '声明取得目标信息的函数,通过XML组件进行实现。 
  Geturl(/blog/url)  
 Set Retrieval = CreateObject("Microsoft.XMLHTTP")  
 With Retrieval  
 Open "GET", url, False 
 Send  
 GetURL = bytes2bstr(.responsebody) 
 '对取得信息进行验证,如果信息长度小于100则说明截取失败 
if len(.responsebody)<100 then 
response.write "获取远程文件 <a href="/blog/"&url&" target=_blank>"&url&"</a> 失败。" 
response.end 
end if 
End With  
Set Retrieval = Nothing  
End  
' 二进制转字符串,否则会出现乱码的! 
 bytes2bstr(vin)  
strreturn = ""  
for i = 1 to lenb(vin)  
thischarcode = ascb(midb(vin,i,1))  
if thischarcode < &h80 then  
strreturn = strreturn & chr(thischarcode)  
else  
nextcharcode = ascb(midb(vin,i+1,1))  
strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode))  
i = i + 1  
end if  
next  
bytes2bstr = strreturn  
end   
'声明截取的格式,从Start开始截取,到Last为结束 
 GetKey(HTML,Start,Last) 
filearray=split(HTML,Start) 
filearray2=split(filearray(1),Last) 
GetKey=filearray2(0) 
End  
Dim Softid,Url,Html,Title  
'获取要取页面的ID 
SoftId=Request("Id") 
  Url="http://www3.skycn.com/soft/"&SoftId&".html"  
  Html = Geturl(/blog/Url)  
'以截取天空软件的软件名为例子 
  Title = GetKey(Html,"<font color='#004FC6' size='3'>","</font></b></td></tr>") 
'打开数据库,准备入库 
dim connstr,conn,rs,sql 
connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};" 
set conn=server.createobject("ADODB.CONNECTION") 
conn.open connstr 
set rs=server.createobject("adodb.recordset") 
sql="select [列名] from [表名] where [列名]='"&Title&"'" 
rs.open sql,conn,3,3 
if rs.eof and rs.bof then  
rs("列名")=Title 
rs.update  
set rs=nothing 
end if 
set rs=nothing 
Response.Write"采集完毕!" 
%>

(0)

相关推荐

  • ASP下实现自动采集程序及入库的代码

    最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单. 原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中.其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站. 简单事例: 复制代码 代

  • 浅谈自动采集程序及入库

    <%'声明取得目标信息的函数,通过XML组件进行实现.Function GetURL(url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With Retrieval .Open "GET", url, False.Send GetURL = bytes2bstr(.responsebody)'对取得信息进行验证,如果信息长度小于100则说明截取失败if len(.responsebody)<10

  • 用asp+xmlhttp编写web采集程序

    web采集程序?网页抓取程序?小倫程序?不管怎么叫,这种程序应用倒是蛮广的.本文不讨论这种使用这种程序引起的版权或道德问题,只谈这种程序在ASP+VBScript环境下的实现 :-) 预备知识:除了一般的ASP+VBScript的知识外,你还需要了解xmlhttp对象和正则表达式对象.xmlhttp对象是时下风头正劲的Ajax的主角:而学好了正则表达式,你再也不用为处理复杂的字符串犯愁. 在编写和调试正则表达式时,RegEx 这个小工具非常有用. 目录 抓取一个远程网页并保存到本地  改进:处理

  • 自动采集程序

    最近在做一个音乐站,音乐文件嘛...一般是从网上收集..so..写了一段采集程序.  复制代码 代码如下: <%   On Error Resume Next   Const uploadPath = "/uploads/" '文件存放路径   Const allowFileExt = "jpg,wma,swf,gif" '允许被采集的文件类型   'Const allowFileSize = "200"   Function getFil

  • asp下轻松实现将上传图片到数据库的代码

    轻松实现将上传图片到数据库 很久就想自己写一写程序了,不过由于赖就不想写我,今天刚好有空,所以写了这个小小的程序很容易一看就知道的,不多说了就此开始: 我们做一个上传的.数据据库的字段就id自动编号 big 字段类型是 OLE 呵呵就简单的那个字段好了 uppic.asp上传程序名 <% dim rs  dim formsize,formdata,bncrlf,divider,datastart,dataend,mydata formsize=request.totalbytes '取得客户端发

  • asp下tag的实现,简单介绍与部分代码

    标签(Tag)是什么? 标签是一种更为自由.灵活,完全由用户决定的分类方式,而非传统的由网站定义的分类.您可以根据自己的理解,对发表的文章.上传的图片.音乐.视频等各种文件添加一个或多个标签,进行灵活的描述.  添加标签(Tag)有什么作用? 标签体现了群体的力量,使得用户之间可以通过相近的内容产生更多的关联和互动.您在发表日志或上传文件时添加了Tag ,就可以看到woku.com所有和您使用了相同Tag 的日志和文件.  标签频道中不同大小.粗细的文字代表什么? 使用不同大小.粗细字体的标签,

  • asp下比较全面的获取IP地址的代码

    最简单的用以下语句: ip=request.ServerVariables("REMOTE_ADDR")  response.Write(ip) 但这种方法对代理服务器上网的就不准了,故比较全面的是用下面的方法: 复制代码 代码如下: <%Private Function getIP()   Dim strIPAddr   If Request.ServerVariables("HTTP_X_FORWARDED_FOR") = "" OR 

  • asp下过滤非法的SQL字符的函数代码

    复制代码 代码如下: '************************************************** '函数名:R '作 用:过滤非法的SQL字符 '参 数:strChar-----要过滤的字符 '返回值:过滤后的字符 '************************************************** Public Function R(strChar) If strChar = "" Or IsNull(strChar) Then R =

  • 用xmlhttp编写web采集程序

    晰带语法着色的版本:http://gwx.showus.net/blog/article.asp?id=229 原创很辛苦,转载请注明原文链接:http://gwx.showus.net/blog/article.asp?id=229 web采集程序?网页抓取程序?小倫程序?不管怎么叫,这种程序应用倒是蛮广的.本文不讨论这种使用这种程序引起的版权或道德问题,只谈这种程序在ASP+VBScript环境下的实现 :-) 预备知识:除了一般的ASP+VBScript的知识外,你还需要了解xmlhttp

  • asp 采集程序常用函数分析

    原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

随机推荐