小偷，采集程序常用函数

<script language="javascript" runat="server">
//连接数据库
function connOpen(DataBaseConnectStr){
  var conn = Server.CreateObject("ADODB.Connection");
  conn.Open(DataBaseConnectStr);
  return conn;
}
//利用AdoDb.Stream对象来读取指定格式的文本文件
function readFromTextFile(FileUrl,CharSet){
  var str;
  var stm = Server.CreateObject("adodb.stream");
  stm.Type = 2;
  stm.Mode = 3;
  stm.Charset=CharSet;
  stm.open;
  stm.LoadFromFile(Server.MapPath(FileUrl));
  str = stm.ReadText
  stm.close;
  return str;
}
//利用AdoDb.Stream对象来写入指定格式的文本文件
function writeToTextFile(FileUrl,Str,CharSet){
  var stm = Server.CreateObject("adodb.stream");
  stm.Type = 2;
  stm.Mode = 3;
  stm.Charset = CharSet;
  stm.open;
  stm.WriteText(Str);
  stm.SaveToFile(Server.MapPath(FileUrl),2);
  stm.flush;
  stm.close;
}
//利用fso判断文件是否存在
function isFileExist(FileUrl){
 var FSO = Server.CreateObject("Scripting.FileSystemObject")
 if(FSO.FileExists(Server.MapPath(FileUrl))){
 return true;
 }else{
 return false;
 }
}
//利用fso写文件
function CateFile(files,fbody){
  var fs = Server.CreateObject("Scripting.FileSystemObject");
  var a = fs.CreateTextFile(Server.mappath(files));
  a.Write(fbody);
  a.close();
}
//获取目标页面源代码
function getHTTPPage(url){
  var Http= Server.CreateObject("Microsoft.XMLHTTP");
  Http.open("GET",url,false);
  Http.send();
  if (Http.readystate!==4){return false;}
  return(BytesToBstr(Http.responseBody,"GB2312"));
}
//编码
function BytesToBstr(body,Cset){
  var objstream = Server.CreateObject("adodb.stream");
  objstream.Type = 1;
  objstream.Mode =3;
  objstream.Open();
  objstream.Write = body;
  objstream.Position = 0;
  objstream.Type = 2;
  objstream.Charset = Cset;
  return(objstream.ReadText);
  objstream.Close();
}
//获取完整连接地址
function GetCompleteUrl(sources_url,get_url){
  if(get_url.indexOf("http://")!=-1)return get_url;
  var completeUrl="";
  var sources_url_arr = sources_url.split("/");
  var get_url_arr = get_url.split("../");
  for(var i=0;i<sources_url_arr.length-get_url_arr.length;i++){
    completeUrl += sources_url_arr[i] + "/";
  }
  completeUrl += get_url_arr[get_url_arr.length-1];
  return completeUrl;
}
</script>

赞 (0)

相关推荐

  • asp 采集程序常用函数分析

    原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

  • 小偷，采集程序常用函数

    <script language="javascript" runat="server"> //连接数据库 function connOpen(DataBaseConnectStr){   var conn = Server.CreateObject("ADODB.Connection");   conn.Open(DataBaseConnectStr);   return conn; } //利用AdoDb.Stream对象来读取指

  • PHP 采集程序 常用函数

    当前的脚本网址 function get_php_url(){ if(!empty($_SERVER["REQUEST_URI"])){ $scriptName = $_SERVER["REQUEST_URI"]; $nowurl = $scriptName; }else{ $scriptName = $_SERVER["PHP_SELF"]; if(empty($_SERVER["QUERY_STRING"])) $nowu

  • asp 小偷采集程序原理与常用函数方法

    用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有: 不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些. 一.事例 下面就XMLHTTP在ASP中的应用做个简单说明 复制代码 代码如下: <% '常用函数 '1.输入url目标网页地址,返回值getH

  • 基于PHP的cURL快速入门教程 (小偷采集程序)

    基于PHP的cURL快速入门教程 (小偷采集程序)

    最爽的是,PHP也支持 cURL 库.本文将介绍 cURL 的一些高级特性,以及在PHP中如何运用它. 为什么要用 cURL? 是的,我们可以通过其他办法获取网页内容.大多数时候,我因为想偷懒,都直接用简单的PHP函数: $content = file_get_contents("http://www.jb51.net");// or$lines = file("http://www.jb51.net");// orreadfile(http://www.jb51.

  • 微信小程序常用简易小函数总结

    本文实例讲述了微信小程序常用简易小函数.分享给大家供大家参考,具体如下: 最近一直在写微信小程序,而且由于是第二次写了,所以针对很多通用的情况封装了一些函数,建议你们放在app.js中,方便全局去调用. 提示类函数 微信有一种原生的API用于显示提示类结果的wx.showToast,而且其中的图片是可以自定义的,所以为了保证全部一致性,而且方便调用,所以我将其全部封装在了app.js中: // 成功 showSuccess: function (message) { wx.showToast({

  • 用asp+xmlhttp编写web采集程序

    web采集程序?网页抓取程序?小倫程序?不管怎么叫,这种程序应用倒是蛮广的.本文不讨论这种使用这种程序引起的版权或道德问题,只谈这种程序在ASP+VBScript环境下的实现 :-) 预备知识:除了一般的ASP+VBScript的知识外,你还需要了解xmlhttp对象和正则表达式对象.xmlhttp对象是时下风头正劲的Ajax的主角:而学好了正则表达式,你再也不用为处理复杂的字符串犯愁. 在编写和调试正则表达式时,RegEx 这个小工具非常有用. 目录 抓取一个远程网页并保存到本地  改进:处理

  • ASP下实现自动采集程序及入库的代码

    最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单. 原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中.其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站. 简单事例: 复制代码 代

  • PHP 采集程序原理分析篇

    苦想了几天,终于弄明白了里面的道理.在这里写出来,请高手指正. 采集程序的思路很简单,无非就是先打一个页面,一般都是列表页,取得里面全部链接的地址,然后打开逐条链接,寻找我们感兴趣的东西,如果找到,就把它入库或别的处理.下面以一个很简单的例子来说说. 首先确定一个采集页,一般就是列表面了.这里目标是:http://www.jb51.net/article/11/index.htm.这是一个列表页,我们的目的就是采集这个列表页上全部的文章. 有列表页了,第一步先打开它,把它的内容纳入到我们的程序中

  • PostgreSQL 正则表达式 常用函数的总结

    PostgreSQL 正则表达式 常用函数的总结 对那些需要进行复杂数据处理的程序来说,正则表达式无疑是一个非常有用的工具.本文重点在于阐述 PostgreSQL 的一些常用正则表达式函数以及源码中的一些函数. 正则相关部分的目录结构 [root@localhost regex]# pwd /opt/hgdb-core/src/include/regex [root@localhost regex]# ll total 40 -rw-r--r--. 1 postgres postgres 349

随机推荐