php 一元分词算法

代码如下:

/**
* 一元分词算法
* UTF8编码下一个字符如果首字符ASCII码不大于192则只占1个字节
* 如果首字符ASCII码大于192小于224则占用2个字节，否则占用3个字节
* 一元分词需要在mysql的my.ini文件中增加 ft_min_word_len=1
* 可以使用mysql查询语句 show variables like '%ft%' 查看mysql全文搜索相关设置
*
* @access global
* @param string $str
* @param boolean $unique 是否去除重复值
* @param boolean $merge 是否合并附加值
* @return array
*/
function seg_word($str,$unique=false,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array();
$spc = ' ';
//按需增加需要过滤的字符
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "\n", '\'', '<', '>', "\r", "\r\n", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', '）', '（', '．', '。', '，', '！', '；', '“', '”', '‘', ''', '［', '］', '、', '—', '　', '《', '》', '－', '…', '【', '】','：');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=>'四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九','0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白 1-英文和符号 2-中文
$result = array();
$annex = array();

while($ord = ord($str[$i]))
{
//1字节字符
if ($ord <= 0xC0 )
{
//去除空字符串
if($ord < 33) {
$prechar=0;
$i++;
$k++;
continue;
}
//附加中文大写数字转换
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3字节字符(中文)
{
if($ord < 0xE0)
$step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}

$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}

赞 (0)

相关推荐

  • php 一元分词算法

    复制代码 代码如下: /** * 一元分词算法 * UTF8编码下一个字符如果首字符ASCII码不大于192则只占1个字节 * 如果首字符ASCII码大于192小于224则占用2个字节,否则占用3个字节 * 一元分词需要在mysql的my.ini文件中增加 ft_min_word_len=1 * 可以使用mysql查询语句 show variables like '%ft%' 查看mysql全文搜索相关设置 * * @access global * @param string $str * @p

  • Java实现的最大匹配分词算法详解

    Java实现的最大匹配分词算法详解

    本文实例讲述了Java实现的最大匹配分词算法.分享给大家供大家参考,具体如下: 全文检索有两个重要的过程: 1分词 2倒排索引 我们先看分词算法 目前对中文分词有两个方向,其中一个是利用概率的思想对文章分词. 也就是如果两个字,一起出现的频率很高的话,我们可以假设这两个字是一个词.这里可以用一个公式衡量:M(A,B)=P(AB)/P(A)P(B),其中 A表示一个字,B表示一个字,P(AB)表示AB相邻出现的概率,P(A)表示A在这篇文章中的频度,P(B)表示B在这篇文章中的频度.用概率分词的好

  • 浅析常用分词算法的比较与设想

    与基于理解的分词算法和基于统计的分词算法相比,基于文本匹配的算法更加通用.基于文本匹配的算法又称之为"机械分词算法",他是它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行配,若在词典中找到某个字符串,则匹配成功,可识别出一个词.按照扫描方向的不同,文本匹配分词方法可以分为正向匹配和逆向匹配两种:按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配:按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化

  • 百度分词算法详解第1/2页

    本文通过搜索结果归纳分析+切词通用算法分析的方式对百度预处理阶段的查询处理和中文分词两项技术进行了阐述.总结,如果你对数据结构.算法有一定了解的话,理解起来会相对容易些:个人感觉,得出正向最大匹配算法不够准确,无论是专用词典还是普通词典里的词,都是有不同权重的,这根搜索频率应该有一定关系,基于这点,在出现多个专用词典里的词时,是需要采用双向最大匹配算法来检测到底哪一个专有词汇应该先被切出来,当然,这是个人猜想,有待考究. 理解分词技术对SEO工作具有极大意义,可以从科学的角度来分析关键词,并构想

  • Java实现的双向匹配分词算法示例

    Java实现的双向匹配分词算法示例

    本文实例讲述了Java实现的双向匹配分词算法.分享给大家供大家参考,具体如下: 目前比较流行的几大分词算法有:基于字符串匹配的分词方法.基于理解的分词方法和基于统计的分词方法.本文采用的是基于字符串匹配法. 正向最大匹配分词: 该算法是基于分词词典实现,从字符串左侧进行分割匹配,如果词典存在则返回分割出来的词语并将该词从之前的字符串中切除,循环进行切割直到字符串大小为0. 例如:str = "我们都是西北农林科技大学信息工程学院的学生.",(假设我们定义最大切割长度max = 8,也就

  • PHP实现的简单组词算法示例

    本文实例讲述了PHP实现的简单组词算法.分享给大家供大家参考,具体如下: <?php //组词算法 function diyWords($arr,$m){ $result = array(); if ($m ==1){//只剩一个词时直接返回 return $arr; } if ($m == count($arr)){ $result[] = implode('' , $arr); return $result; } $temp_firstelement = $arr[0]; unset($ar

  • 几款开源的中文分词系统

    以下介绍4款开源中文分词系统. 1.ICTCLAS – 全球最受欢迎的汉语分词系统 中文词法分析是中文信息处理的基础与关键.中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),主要功能包括中文分词:词性标注:命名实体识别:新词识别:同时支持用户词典:支持繁体中文:支持GBK.UTF-8.UTF-7.UNICODE等多种编码

  • 开源php中文分词系统SCWS安装和使用实例

    一.SCWS简介 SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统).这是一套基于词频词典的机械式中文分词引擎,它能将一整段的中文文本基本正确地切分成词. 词是中文的最小语素单位,但在书写时并不像英语会在词之间用空格分开, 所以如何准确并快速分词一直是中文分词的攻关难点.SCWS 采用纯 C 语言开发,不依赖任何外部库函数,可直接使用动态链接库嵌入应用程序, 支持的中文编码包括 GBK.UTF-8 等.此外还提供了 PHP 扩展模

  • 做网站要主要的百度分词技术

    百度自称是全球最大中文搜索引擎,最了解国内网民的搜索习惯,做为中国搜索引擎的老大,很多草根站长一直在研究的它的搜索技术和排名算法,还有不少站长兄弟姐姐还要靠它的流量吃饭,为此草根网站的站长们对它是又爱又恨,百度能带来很大的流量,又会无情的K站或降权. 好的,那咱们说说百度的分词技术,可能小弟有说的不对地方,请大家拍砖头,希望大家共同进步.没有研究百度分词前不明白百度为什么比google强大.其实分词也就是切词,百度是否拿来一句中文字符串拿来随便切一下呢,当然不会.那么怎么才满足被切割的条件呢?通

  • 高手收集整理的baidu分词算法分析之一 查询处理以及分词技术（1）

    随着搜索经济的崛起,人们开始越加关注全球各大搜索引擎的性能.技术和日流量.作为企业,会根据搜索引擎的知名度以及日流量来选择是否要投放广告等:作为普通网民,会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料:作为技术人员,会把有代表性的搜索引擎作为研究对象. 搜索引擎经济的崛起,又一次向人们证明了网络所蕴藏的巨大商机.网络离开了搜索将只剩下空洞杂乱的数据,以及大量等待去费力挖掘的金矿.  但是,如何设计一个高效的搜索引擎?我们可以以百度所采取的技术手段来探讨如何设计一个实用的搜索引擎.搜索引擎

随机推荐