dede3.1分页文字采集过滤规则详说(图文教程)续四

至此,分页内容匹配进行完毕。

文章内容匹配、分页内容匹配都进行完后,最后就只有“过滤”了,包括分页区域过滤和文章内容过滤。据本人的感觉,上面的两个规则都好写,只要找到全部链接中的“唯一性”代码就搞定,但过滤规则里却是欲说还休,道不尽的无穷奥妙……哈哈,感觉就是这样。尤其如我一般的新手,对“正则”这个东西如临天书,找了几个正则方面的软件吧仍觉无从下手,就只好依样画样,照猫画虎,依葫芦画瓢地摸索了。

好了,闲话了。也累了,听听《加州旅馆》吧,在这:加州旅馆_老鹰乐队94现场 放松下吧。

你一眼看出来了过滤规则怎么写么,反正我是没能看得出来,没办法,新手就是新手呀。不管它,那就依照原范例的分页过滤规则写个规则试试看看结果吧:


代码如下:

{dede:trim}<td align='center' height='30'>(.*)页次{/dede:trim}

采集一下:

=700) window.open('/upload/200743213556612.gif');" src="http://zsrimg.ikafan.com/upload/200743213556612.gif" onload="if(this.width>'700')this.width='700';" border=0>
分页成功了,但废码多,还得改!
看下多余的代码特征,好象是过滤范围不够,后面的很多内容都要过滤掉。那好,把过滤区域再往后移,直接移至描红部分吧(其实我在改过滤规则的时候,改了好几次,这里就一次到位吧,不耽误朋友们的时间了):

=700) window.open('/upload/200743213556171.gif');" src="http://zsrimg.ikafan.com/upload/200743213556171.gif" onload="if(this.width>'700')this.width='700';" border=0>
写个完整的分页过滤规则:


代码如下:

{dede:trim}<td align='center' height='30'>(.*)</option></select></td>{/dede:trim}

再采集下,看看结果:

=700) window.open('/upload/200743213556537.gif');" src="http://zsrimg.ikafan.com/upload/200743213556537.gif" onload="if(this.width>'700')this.width='700';" border=0>

好了,分页成功,无多余代码。至此,全部主要的代码部分完成。
结果在这里:
有分页的:党员干部作风整顿剖析材料
无分页的: 文艺部工作计划
写一个完成的站点规则:


代码如下:

{!-- 节点基本信息 --}

{dede:item name='天水_工作计划_1页'
    imgurl='/upimg' imgdir='../upimg' language='gb2312' typeid='1' macthtype='string'}
{/dede:item}

{!-- 采集列表获取规则 --}

{dede:list source='var' sourcetype='list' 
          varstart='' varend=''}
  {dede:url value='http://www.tiansou.net/Html/Y_CYFW/R_Gzzj/F_Gzjh/index.html'}{/dede:url}    
  {dede:need}Gzjh/2007-{/dede:need}
  {dede:cannot}Gzjh/2007-1{/dede:cannot}
  {dede:linkarea}[var:区域]{/dede:linkarea}
{/dede:list}

{!-- 网页内容获取规则 --}

{dede:art}
{dede:sppage sptype='full'}<td align='center' height='30'>首页 上页[var:分页区域]页次{/dede:sppage}

{dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题' 
  isunit='' isdown=''}

{dede:match}<title>[var:内容]--天水搜索</title>{/dede:match}

{dede:function}{/dede:function}

{/dede:note}

{dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}@me = time();{/dede:function}

{/dede:note}

{dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}{/dede:function}

{/dede:note}

{dede:note field='dede_archives.litpic' value='[var:内容]' comment='缩略图' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}@me = @litpic;{/dede:function}

{/dede:note}

{dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}if(@me!="") @me = GetMkTime(@me);
else @me = time();{/dede:function}

{/dede:note}

{dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}@me = time();{/dede:function}

{/dede:note}

{dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容' 
  isunit='1' isdown='1'}

{dede:match}</TR>
              <TR>
                <TD height="8"></TD>
              </TR>
              <TR>
                <TD valign="top" class=Connet><p>[var:内容]</p>
                  </TD>
              </TR>{/dede:match}
        {dede:trim}<td align='center' height='30'>(.*)</option></select></td>{/dede:trim}
    {dede:trim}
{/dede:trim}
    {dede:trim}<param([^>]*)>{/dede:trim}
    {dede:trim}<embed([^>]*)>([^>]*)</embed>{/dede:trim}
    {dede:trim}<embed([^>]*)>{/dede:trim}
    {dede:trim}</embed>{/dede:trim}
    {dede:trim}<object([^>]*)>([^>]*)</object>{/dede:trim}
    {dede:trim}<object([^>]*)>{/dede:trim}
    {dede:trim}</object>{/dede:trim}
    {dede:trim}<OBJECT([^>]*)>([^>]*)</OBJECT>{/dede:trim}
    {dede:trim}<OBJECT([^>]*)>{/dede:trim}
    {dede:trim}</OBJECT>{/dede:trim}
    {dede:trim}<iframe([^>]*)>([^>]*)</iframe>{/dede:trim}
    {dede:trim}<iframe([^>]*)>{/dede:trim}
    {dede:trim}</iframe>{/dede:trim}
    {dede:trim}<IFRAME([^>]*)>([^>]*)</IFRAME>{/dede:trim}
    {dede:trim}<IFRAME([^>]*)>{/dede:trim}
    {dede:trim}</IFRAME>{/dede:trim}
    {dede:trim}<font([^>]*)>([^<]*)</font>{/dede:trim}
    {dede:trim}<font([^>]*)>{/dede:trim}
    {dede:trim}</font>{/dede:trim}
    {dede:trim}<img([^>]*)>{/dede:trim}
    {dede:trim}<a([^>]*)>([^<]*)</a>{/dede:trim}
    {dede:trim}<a([^>]*)>{/dede:trim}
    {dede:trim}</a>{/dede:trim}
    {dede:trim}<td([^>]*)>([^>]*)</td>{/dede:trim}
    {dede:trim}<td([^>]*)>{/dede:trim}
    {dede:trim}</td>{/dede:trim}
    {dede:trim}<tr([^>]*)>([^>]*)</tr>{/dede:trim}
    {dede:trim}<tr([^>]*)>{/dede:trim}
    {dede:trim}</tr>{/dede:trim}
    {dede:trim}<tbody([^>]*)>([^>]*)</tbody>{/dede:trim}
    {dede:trim}<tbody>{/dede:trim}
    {dede:trim}</tbody>{/dede:trim}
    {dede:trim}<table([^>]*)>([^>]*)</table>{/dede:trim}
    {dede:trim}<table([^>]*)>{/dede:trim}
    {dede:trim}</table>{/dede:trim}
    {dede:trim} {/dede:trim}

{dede:function}{/dede:function}

{/dede:note}

{dede:note field='dede_archives.source' value='[var:内容]' comment='文章来源' 
  isunit='' isdown=''}

{dede:match}{/dede:match}

{dede:function}@me ='互联网'{/dede:function}

{/dede:note}
{/dede:art}

(0)

相关推荐

  • dede3.1分页文字采集过滤规则详说(图文教程)续四

    至此,分页内容匹配进行完毕. 文章内容匹配.分页内容匹配都进行完后,最后就只有"过滤"了,包括分页区域过滤和文章内容过滤.据本人的感觉,上面的两个规则都好写,只要找到全部链接中的"唯一性"代码就搞定,但过滤规则里却是欲说还休,道不尽的无穷奥妙--哈哈,感觉就是这样.尤其如我一般的新手,对"正则"这个东西如临天书,找了几个正则方面的软件吧仍觉无从下手,就只好依样画样,照猫画虎,依葫芦画瓢地摸索了. 好了,闲话了.也累了,听听<加州旅馆>

  • dede3.1分页文字采集过滤规则详说(图文教程)续二

    稍微了解dede采集规则的朋友上篇内容完全可以略过,下面看看如何以静制动.以不变就万变地解决分页采集问题.二.采集新目标 目标地址:1.http://www.tiansou.net/Html/Y_CYFW/R_Gzzj/F_Gzjh/index.html2.http://www.tiansou.net/Html/Y_CYFW/R_Gzzj/F_Gzjh/2007-2/9/20070209110903558.html之所以选取两个目标页面,是因为以上的两个页面一个有分页,而另一个没有,并且在分页和

  • dede3.1分页文字采集过滤规则详说(图文教程)续三

    图片: =700) window.open('/upload/200743213245900.gif');" src="http://files.jb51.net/upload/200743213245900.gif" onload="if(this.width>'700')this.width='700';" border=0> 至此,文章内容部分的匹配规则确定下来了: 复制代码 代码如下: </TR>              

  • dede3.1分页文字采集过滤规则详说(图文教程)

    本文旨在以一个有代表性的文字分页的取样规则和过滤规则为蓝本,通过简单的变通和改动,解决一般性文字分页的采集问题 一.范例部分范例分页区域代码:范例分页区域代码:=700) window.open('/upload/20074321296309.gif');" src="http://files.jb51.net/upload/20074321296309.gif" onload="if(this.width>'700')this.width='700';&qu

  • iOS11 WKWebView内容过滤规则详解

    WKWebView中新增了一个功能,可以对WebView的内容添加一些自定义的过滤规则.这个功能原来在 Safari Extension 中被引入,从 11 开始同样适用于WKWebView. 使用方法 原理上就是提供一个 JSON 给 WebKit,这个 JSON 包括内容的触发规则(trigger)和对应的处理方式(action).比如: [{ "trigger": { "url-filter": ".*" }, "action&q

  • jQuery过滤选择器详解

    过滤选择器 过滤选择器主要是通过特定的过滤规则来筛选出所需的 DOM元素,该选择器都以":"开头 按照不同的过滤规则,过滤选择器可以分为基本过滤,内容过滤,可见性过滤,属性过滤,子元素过滤和表单对象属性过滤选择器. 基本过滤选择器 基本过滤选择器示例 改变第一个 div元素的背景色为 # bbffaa 改变最后一个 div元素的背景色为 # bbffaa 改变class不为 one的所有 div元素的背景色为 # bbffaa 改变索引值为偶数的 div元素的背景色为 # bbffaa

  • Spring Data JPA 简单查询--方法定义规则(详解)

    一.常用规则速查 1 And 并且 2 Or   或 3 Is,Equals 等于 4 Between   两者之间 5 LessThan 小于 6 LessThanEqual   小于等于 7 GreaterThan 大于 8 GreaterThanEqual   大于等于 9 After 之后(时间) > 10 Before 之前(时间) < 11 IsNull 等于Null 12 IsNotNull,NotNull 不等于Null 13 Like 模糊查询.查询件中需要自己加 % 14

  • 对nginx-naxsi白名单规则详解

    白名单规则语法: BasicRule wl:ID [negative] [mz:[$URL:target_url]|[match_zone]|[$ARGS_VAR:varname]|[$BODY_VARS:varname]|[$HEADERS_VAR:varname]|[NAME]] wl:ID (White List ID) 哪些拦截规则会进入白名单 wl:0 把所有拦截规则加入白名单 wl:42 把ID为42的拦截规则加入白名单 wl:42,41,43 把ID为42, 41和43的拦截规则加

  • layui lay-verify form表单自定义验证规则详解

    官方文档详见:https://www.layui.com/doc/modules/form.html#verify 虽然layui的官方文档已经是写的比较详细,但是初次使用的时候总会懵一下,这里纪录一下lay-verify自定义验证规则的时候到底放哪. html: <input type="text" lay-verify="digital" placeholder="请输入数字"> <button type="but

  • Oracle中分组查询group by用法规则详解

    Oracle中group by用法 在select 语句中可以使用group by 子句将行划分成较小的组,一旦使用分组后select操作的对象变为各个分组后的数据,使用聚组函数返回的是每一个组的汇总信息. 使用having子句 限制返回的结果集.group by 子句可以将查询结果分组,并返回行的汇总信息Oracle 按照group by 子句中指定的表达式的值分组查询结果. 在带有group by 子句的查询语句中,在select 列表中指定的列要么是group by 子句中指定的列,要么包

随机推荐