PHP解析html类库simple_html_dom的转码bug

这几天有在用simple_html_dom抓一些文章。不同网站的编码在国内基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。

我这一版的simple_html_dom有一个方法 convert_text 是这个样子的。

代码如下:

// PaperG - Function to convert the text from one character set to another if the two sets are not the same.
 function convert_text($text)
 {
  global $debug_object;
  if (is_object($debug_object)) {$debug_object->debug_log_entry(1);}
  $converted_text = $text;
  $sourceCharset = "";
  $targetCharset = "";
  if ($this->dom)
  {
   $sourceCharset = strtoupper($this->dom->_charset);
   $targetCharset = strtoupper($this->dom->_target_charset);
  }
  if (is_object($debug_object)) {$debug_object->debug_log(3, "source charset: " . $sourceCharset . " target charaset: " . $targetCharset);}
  if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset, $targetCharset) != 0))
  {
   // Check if the reported encoding could have been incorrect and the text is actually already UTF-8
   if ((strcasecmp($targetCharset, 'UTF-8') == 0) && ($this->is_utf8($text)))
   {
    $converted_text = $text;
   }
   else
   {
    $converted_text = iconv($sourceCharset, $targetCharset, $text);
   }
  }
  // Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output.
  if ($targetCharset == 'UTF-8')
  {
   if (substr($converted_text, 0, 3) == "\xef\xbb\xbf")
   {
    $converted_text = substr($converted_text, 3);
   }
   if (substr($converted_text, -3) == "\xef\xbb\xbf")
   {
    $converted_text = substr($converted_text, 0, -3);
   }
  }
  return $converted_text;
 }

来看这一行：

代码如下:

$converted_text = iconv($sourceCharset, $targetCharset, $text);

会引起转码不正确。比如会把gb2312的文字转成：

代码如下:

4月26日在<span style="color:#C03">鏈濋槼</span>公园马术场举行的2014浪琴国际马联场地障碍世界杯中国联赛资格赛上，24岁的韩壮壮不仅拿到零罚分的成绩 ...第7个出场的<span style="color:#C03">鍖椾含</span>奥运骑手赵志文第一个收获零罚分，用时77秒07 ...

既成的事实了，证明里头的转码功能没有处理好。由于我使用这个simple_html_dom只是想要用来构建dom。我并没有打算花时间去很好地处理这个bug。而是简单地把

代码如下:

$converted_text = iconv($sourceCharset, $targetCharset, $text);

改成

代码如下:

$converted_text = $text;

就行了。思路就是取消它的转码。好吧工作不必纠结，可以继续了。

赞 (0)

相关推荐

  • php基于Snoopy解析网页html的方法

    本文实例讲述了php基于Snoopy解析网页html的方法.分享给大家供大家参考.具体实现方法如下: set_time_limit(0); $user = array('20517', '20518'); header("content-Type: text/html; charset=utf-8"); require_once './Snoopy.php'; $snoopy = new Snoopy(); //$uri = 'http://www.juzimi.com/meitume

  • PHP simple_html_dom.php+正则 采集文章代码

    复制代码 代码如下: <?php //包含PHP Simple html Dom 类库文件 include_once('./simplehtmldom/simple_html_dom.php'); //采集html function getwebcontent($url){ $ch = curl_init(); $timeout = 10; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER,

  • WordPress中转义HTML与过滤链接的相关PHP函数使用解析

    esc_html()(转义 Html) esc_html() 函数用来转义 Html 代码,让 Html 代码不转义. 用法 esc_html( $text ); 参数 $text (字符串)(必须)要转义的字符串. 默认值:None 返回值 (字符串)返回转义后的字符. 例子 echo esc_html( '<a href="http://www.example.com/">A link</a>' ); 上边的代码将输出: WordPress 函数:esc_h

  • 浅析php插件 HTMLPurifier HTML解析器

    浅析php插件 HTMLPurifier HTML解析器

    HTMLPurifier插件的使用下载HTMLPurifier插件HTMLPurifier插件有用的部分是 library 使用HTMLPurifier library类库第一种方式 复制代码 代码如下: <?phprequire_once 'HTMLPurifier.auto.php';$config = HTMLPurifier_Config::createDefault();?> 或者 复制代码 代码如下: <?php require_once 'HTMLPurifier.incl

  • 解析关于java,php以及html的所有文件编码与乱码的处理方法汇总

    php文件中在乱码(如a.php文件在浏览器乱码):header("Content-Type:text/html;charset=utf-8")是设置网页的.mysql_query("set names utf-8")设置数据库的. java中的struts:中文乱码问题一般是指当请求参数有中文时,无法在Action中得到正确的中文.Struts2中有2种办法可以解决这个问题:设置JSP页面的pageEncoding="utf-8",就不会出现中

  • 解析PHP生成静态html文件的三种方法

    本文将介绍Php 生成静态html文件的三种方法 .1,下面使用模版的一个方法! 复制代码 代码如下: <?php $fp = fopen ("templets.html","a"); if ($fp){ $fup = fread ($fp,filesize("templets.html")); $fp2 = fopen ("html.shtml","w"); if ($fwrite ($fp2,$f

  • php解析html类库simple_html_dom(详细介绍)

    下载地址:https://github.com/samacs/simple_html_dom解析器不仅仅只是帮助我们验证html文档:更能解析不符合W3C标准的html文档.它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位:同时还提供添加.删除.修改文档树的功能.当然,这样一款强大的html Dom解析器也不是尽善尽美:在使用的过程中需要十分小心内存消耗的情况.不过,不要担心:本文中,笔者在最后会为各位介绍如何避免消耗过多的内存.开始使用上传类文件以后,有三

  • php使用simple_html_dom解析HTML示例

    本文实例讲述了php使用simple_html_dom解析HTML的方法.分享给大家供大家参考,具体如下: 今天写了两个爬虫, 一个使用Python, 一个使用PHP, 说实在, 两个实现的方式都很方便. 下面说一下使用simple_html_dom这个开源类来解析HTML代码: 1. 下载simple_html_dom: http://sourceforge.net/projects/simplehtmldom/files/ 或者点击此处本站下载. 2. 用法示例: <?php // exam

  • PHP抓取网页、解析HTML常用的方法总结

    概述 爬虫是我们在做程序时经常会遇到的一种功能.PHP有许多开源的爬虫工具,如snoopy,这些开源的爬虫工具,通常能帮我们完成大部分功能,但是在某种情况下,我们需要自己实现一个爬虫,本篇文章对PHP实现爬虫的方式做个总结. PHP实现爬虫主要方法 1.file()函数 2.file_get_contents()函数 3.fopen()->fread()->fclose()方式 4.curl方式 5.fsockopen()函数,socket方式 6.使用开源工具,如:snoopy PHP解析X

  • 浅析php插件 Simple HTML DOM 用DOM方式处理HTML

    simple_html_dom插件用dom处理html文件的利器使用:加载simple_html_dom.php文件 复制代码 代码如下: require_once 'simple_html_dom.php' new simple_html_dom对象 复制代码 代码如下: $dom = new simple_html_dom() 加载html 复制代码 代码如下: $dom->load($html); find()方法 复制代码 代码如下: $dom->find('div.lookLeftn

  • php实现的一个很好用HTML解析器类可用于采集数据

    复制代码 代码如下: <?php    $oldSetting = libxml_use_internal_errors( true );    libxml_clear_errors();   /**  *   * -+-----------------------------------  * |PHP5 Framework - 2011  * |Web Site: www.iblue.cc  * |E-mail: mejinke@gmail.com  * |Date: 2012-10-12

  • 用php解析html的实现代码

    最近想用php写一个爬虫,就需要解析html,在sourceforge上找到一个项目叫做PHP Simple HTML DOM Parser,它可以以类似jQuery的方式通过css选择器来返回指定的DOM元素,功能十分强大. 首先要在程序的开始引入simple_html_dom.php这个文件 复制代码 代码如下: include_once('simple_html_dom.php'); PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 复制代码 代码如下:

随机推荐