MySQL实现分词搜索(FULLTEXT)的方法

2024-11-30 13:19:57

FULLTEXT

以前使用查找时都是以 %关键字% 进行模糊查询结果的，这种查询方式有一些缺点，比如不能查询多个列必须手动添加条件以实现，效率不高等
现在有一种新的查找方式可以解决以上问题，就是使用全文索引进行查找
注意：并非所有存储引擎都支持全文搜索功能。在MySQL 5.6或更高版本中，只有MyISAM和InnoDB存储引擎支持全文搜索。

全文搜索的简单使用

建表添加FULLTEXT索引

使用该技术非常简单，首先需要有一张表，我建立了一张图书表并插入了两条数据

CREATE TABLE `book`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `book_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `author` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `publisher` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  FULLTEXT INDEX `bookname_author_publisher_fulltext`(`book_name`, `author`, `publisher`) WITH PARSER `ngram`
) ENGINE = InnoDB AUTO_INCREMENT = 3 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

接下来添加索引

添加FULLTEXT索引的语法是

CREATE FULLTEXT INDEX index_name ON table_name(idx_column_name,…)

但是由于我们需要分词搜索，MySQL本身不支持中文分词，所以在使用全文索引时需要引入Ngram解析器使得支持中文分词搜索（MySQL版本大于5.6），只需要在创建索引时在语句后面添加WITH PARSER NGRAM 即可
例如，创建了一个支持以书名，作者和出版社为搜索条件的全文索引语法如下
create FULLTEXT index bookname_author_publisher on book(book_name,author,publisher) WITH PARSER ngram

尝试搜索

现在，我们已经创建好了索引，它支持以书名，作者和出版社的内容进行搜索，我们尝试搜索下包含三国的数据
select * from book where MATCH(book_name,author,publisher) against(‘三国’)
结果：

可以看到，包含三国的数据有两条，分别是书名为三国演义和作者为张三国的数据，已经成功实现分词搜索了
需要说明的是，该Ngram解析器默认的分词长度（ngram_token_size）是2，也就是说，默认是以2个字符进行分词的，如果你只搜索1个字符的话是不会有任何结果的，但是这个值可以自定义。

查看分词长度 SHOW VARIABLES LIKE ‘ngram_token_size’;
修改分词长度在MySQL的配置文件中(.ini)找到[mysqld]字样的地方，在下方添加ngram_token_size=1即可修改为支持1个字符起搜索（范围1~10）

关于MySQL的配置文件的位置，如果你是压缩包安装的应该直接就能找到，如果是通过安装程序安装的话可以从服务中找到你的MySQL服务，然后点击属性就可以看到位置了

结束

以上就是关于MySQL实现分词搜索的简单过程了，详细语法可以通过该网址进行学习
需要补充的是，我在学习时看到使用该索引进行全文搜索时，会应用50%阈值（50％阈值意味着如果一个单词出现在超过50％的行中，MySQL将在搜索结果中忽略它。），但是实际测试下来并没有忽略掉。
1.布尔全文搜索模式进行搜索时，不会应用50%阈值
2.按理说使用自然语言搜索进行全文搜索时会应用50%阈值，可是我实际测试并没有忽略（innoDB），后来看到一句话

MyISAM全文搜索会忽略至少在一半以上数据行中出现的单词（也即所谓的50%阈值），InnoDB无此限制。而在布尔全文搜索中MyISAM的50%阈值不生效。（来自https://www.likecs.com/show-374225.html?sc=8500）

这一块暂时不清楚什么情况，后续测试再更新吧

到此这篇关于MySQL实现分词搜索(FULLTEXT)的文章就介绍到这了,更多相关MySQL分词搜索内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

Mysql使用全文索引(FullText index)的实例代码

目录什么是全文索引注意创建全文索引使用全文索引自然语言搜索 BOOLEAN MODE 总结什么是全文索引全文索引,通过建立倒排索引,可以极大的提升检索效率,解决判断字段是否包含的问题. 例如: 有title字段,需要查询所有包含 "政府"的记录. 需要 like "%政府%"方式查询,查询速度慢,当查询包含"政府" OR "中国"的需要是,sql难以简单满足.全文索引就可以实现这个功能. 倒排索引(英语:Inve
mysql+mybatis下全文搜索的使用方法

第一步在你的需要全文搜索的列上点击全文搜索full text类型索引,注意我的例子是该列是个longText类型的列第一步建立fulltext类型索引如下图索引类型选择full text 第二步: 验证全文搜索sql好不好使第三步: 我用的是mybatis框架,改自动生成的example条件设置和mapper.xml文件内容 Page<TLog> page = (Page<TLog>) logMapper.selectByExample(tLogExample); 最后m
php mysql like 实现多关键词搜索的方法

或者叫,分词检索数据库 $res = mysql_query("select * from peter where id like '%中草药%' and '%6%'"); //这样写是报错的: $res = mysql_query("select * from peter where id like '%中草药%' or '%6%'"); //而这样写是正确的:奇怪~ $res = mysql_query("select * from peter whe
mysql全文模糊搜索MATCH AGAINST方法示例

mysql 4.x以上提供了全文检索支持 MATCH --AGAINST 模式(不区分大小写) 建立全文索引的表的存储引擎类型必须为MyISAM 问题是match against对中文模糊搜索支持不是太好新建一个utf8 MyISAM类型的表并建立一个全文索引 : CREATE TABLE articles ( id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY, title VARCHAR(200), body TEXT, FULLTEXT
mysql 模糊搜索的方法介绍

网上查了一下,有两种方法,第一种最土的方法:使用like语句第二种听涛哥说用全文索引,就在网上搜一下: 如何在MySQL中获得更好的全文搜索结果很多互联网应用程序都提供了全文搜索功能,用户可以使用一个词或者词语片断作为查询项目来定位匹配的记录.在后台,这些程序使用在一个SELECT 查询中的LIKE语句来执行这种查询,尽管这种方法可行,但对于全文查找而言,这是一种效率极端低下的方法,尤其在处理大量数据的时候. mysql针对这一问题提供了一种基于内建的全文查找方式的解决方案.在此,开发者只需要
MySQL实现分词搜索(FULLTEXT)的方法

目录 FULLTEXT 全文搜索的简单使用建表添加FULLTEXT索引尝试搜索结束 FULLTEXT 以前使用查找时都是以 %关键字% 进行模糊查询结果的,这种查询方式有一些缺点,比如不能查询多个列必须手动添加条件以实现,效率不高等现在有一种新的查找方式可以解决以上问题,就是使用全文索引进行查找注意:并非所有存储引擎都支持全文搜索功能.在MySQL 5.6或更高版本中,只有MyISAM和InnoDB存储引擎支持全文搜索. 全文搜索的简单使用建表添加FULLTEXT索引使用该技术非常简单
php利用scws实现mysql全文搜索功能的方法

本文实例讲述了php利用scws实现mysql全文搜索功能的方法.分享给大家供大家参考.具体方法如下: scws这样的中文分词插件比较不错,简单的学习了一下,它包涵一些专有名称.人名.地名.数字年代等规则集合,可以直接将语句按这些规则分开成一个一个关键词,准确率在90%-95%之间,按照安装说明把scws的扩展放入php的扩展目录里,下载规则文件和词典文件,并在php配置文件中引用它们,就可以用scws进行分词了. 1) 修改 php 扩展代码以兼容支持 php 5.4.x 2) 修正 php
php实现scws中文分词搜索的方法

本文实例讲述了php实现scws中文分词搜索的方法.分享给大家供大家参考,具体如下: 1.4个文件(本站下载地址.)解压后,放到一个地方 eg:E:/wamp/scws 2.php.ini 中配置 extension = php_scws.dll scws.default.charset = utf8 //配置默认的编码方式 scws.default.fpath = "E:/wamp/scws" //加压后文件的路径 3.使用 $so = scws_new(); $so->set
MySQL rand函数实现随机数的方法

需要测试MYSQL数据库,里面有一个上万条数据的数据库,如何写一个PHP文件一下每次更新几百条信息,我都是写一个循环一次更新一条信息,这样我知道用WHILE写就可以了,要是一次更新好比100条数据改如何写呢!正确答案是使用MySQL rand函数:UPDATE cdb_posts SET views = rand();顺便给你找了点关于mysql rand函数的实例,如下:那就在insert 命令中,value()里面用rand(),注意字段宽度是否够一直以为mysql随机查询几条数据,就用SE
Mysql 服务 1067 错误的解决方法:修改mysql可执行文件路径

今天遇到mysql服务1067错误的问题,设置使用系统账户也无法启动mysql,后面认证看了系统的配置信息,发现启动文件也就是mysql安装路径是之前的(也说明之前安装mysql,没去卸载直接安装新的会出错),于是打算修改修改mysql可执行文件路径,换成现在的. 但是各种百度,都说的不明确,后面打算放弃了,干脆重装系统,才发现这个可以解决. 第一步:停止服务MySQL 第二步:(控制台:运行->regedit),根据路径HKEY_LOCAL_MACHINE\SYSTEM\CurrentCont
php启用sphinx全文搜索的实现方法

本文实例讲述了php启用sphinx全文搜索的实现方法.分享给大家供大家参考.具体分析如下: 在编译安装 sphinx 的时候出现很多中文乱码,最后抛出错误卡住了,我去到官方直接下载一个 rpm 包,安装就很爽,具体错误不想研究了,忙开发呢. 安装两个包,一个是 mmseg 这个是生成中文字典的程序,一个是 csft 也就是中国版的sphinx . rpm -ivh 安装完以后,很顺利~~不到半分钟就装完了. 中文字典库,我直接去 csft 官方下载了,挺好的想得很周到. unigram.tx
MySQL启用慢查询日志记录方法

在MySQL中,慢查询的界定时间是由MySQL内置参数变量long_query_time来指定的,其默认值为10(单位:秒),我们可以通过show variables like 'long_query_time';指令来查看该参数变量的信息: long_query_time的默认值为10秒不过,在程序开发过程中,我们认为慢速查询的界定时间并没有10秒这么长,依据不同项目的不同需求,我们一般将慢查询的界定时间设定为1~5秒之间.我们可以使用指令set long_query_time = 秒数来设
Yii2实现让关联字段支持搜索功能的方法

本文实例讲述了Yii2实现让关联字段支持搜索功能的方法.分享给大家供大家参考,具体如下: 这里有两张表,表结构如下,companies_compay_id 为外键 yii2advanced.branches表: branch_id:int(11) companies_company_id:int(11) branch_name:varchar(100) branch_address:varchar(255) branch_created_date:datetime branch_status:e
MySQL服务器线程数的查看方法详解

本文实例讲述了MySQL服务器线程数的查看方法.分享给大家供大家参考,具体如下: mysql重启命令: /etc/init.d/mysql restart MySQL服务器的线程数需要在一个合理的范围之内,这样才能保证MySQL服务器健康平稳地运行.Threads_created表示创建过的线程数,通过查看Threads_created就可以查看MySQL服务器的进程状态. mysql> show global status like 'Thread%'; +------------------

MySQL实现分词搜索(FULLTEXT)的方法

目录

FULLTEXT

全文搜索的简单使用

建表添加FULLTEXT索引

尝试搜索

结束

相关推荐

随机推荐