在MySQL中使用Sphinx实现多线程搜索的方法

MySQL、Sphinx及许多数据库和搜索引擎中的查询是单线程的。比如说，在一台32个CPU核心、16个磁盘的R910服务器上执行一个查询，它最多只会用到一个核心和一个磁盘。没错，只会使用一个。

如果查询是CPU密集型作业，那么会使用大约3%的整机CPU能力(以上述32核机器为例)。如果是磁盘密集型，则大约会使用6%的整机IO能力(也是与上例同样的配置，16个磁盘组成RAID10或RAID0)。

我再换个说法吧。如果你在一台单核单磁盘的机器上执行了某个查询，花了10秒，那么把同样的查询放到一台32核16磁盘的机器上去跑，同样需要10秒，不会有丝毫改善。

你早就知道这一点了，对吧？那么，我的问题是——有没有办法可以改善呢？

如果是Sphinx，太棒了，答案是有！而且不需要花上太多的工夫。你甚至不需要修改应用和数据库，只需要稍微改下Sphinx的配置。

计划

首先，我来说明一下我们的目标。

Sphinx本身就支持分布式搜索，在很久以前就已经朝着水平扩展的目标来设计。如果索引在一台机器上放不下，可以让多台机器分别对不同的部分进行索引，设置一个聚合节点，负责从应用接收请求，然后把请求再同时发给所有的数据节点，最后将它们返回的结果合并起来，返回给应用。在应用看起来，就好像只有一台服务器在为它服务。

好，下面你猜怎么着？哈，我们可以把这个功能应用到单台机器上，让我们的查询快上n多倍。而且，现在Sphinx已经支持这种做法了，所以我们根本不用再假装查询哪些远程节点。

还有另外一个好处，配置分布式搜索以后，索引是可以并行建的！

还是有一点需要注意，虽然这种做法可以加速绝大多数的查询，但还是有一些例外的情况。因为，并行的查询结果仍然需要合并起来，而这个合并过程是单线程的。而且，合并包括一些CPU密集的操作，如分级、排序，甚至用GROUP BY进行COUNT，如果数据量很大，合并过程就会变成瓶颈。

要确认这一点也很简单，只要查看Sphinx的查询日志，看看每个查询匹配的记录数有多少，我们就心里有数了。

执行

假设在服务器上一个索引配置如下 (很多细节都省略了):
 

代码如下:

source src1
{
    type = mysql
    sql_query = SELECT id, text FROM table
}
 
index idx1
{
    type = plain
    source = src1
}
 
searchd
{
    dist_threads = 0 # default
}

现在我们使用有3个CPU核心和磁盘的机器来做这个索引--就是这个idx1.下面是我们更改的配置文件 :

代码如下:

source src1
{
    type = mysql
    sql_query = SELECT id, text FROM table
}
 
source src1p0 : src1
{
    sql_query = SELECT id, text FROM table WHERE id % 3 = 0;
}
 
source src1p1 : src1
{
    sql_query = SELECT id, text FROM table WHERE id % 3 = 1;
}
 
source src1p2 : src1
{
    sql_query = SELECT id, text FROM table WHERE id % 3 = 2;
}
 
index idx1_template
{
    type = plain
    source = src1
}
 
index idx1p0 : idx1_template
{
    source = src0
}
 
index idx1p1 : idx1_template
{
    source = src1
}
 
index idx1p2 : idx1_template
{
    source = src2
}
 
index idx1
{
    type = distributed
    local = idx1p0
    local = idx1p1
    local = idx1p2
}
 
searchd
{
    dist_threads = 3
}

做完这些后，你需要重建索引. 但是现在idx1p0到idx1p2的索引indexer命令可以同步进行.

另外，用不同的操作来分离数据不是最好的办法, 你可以在MYSQL中用一个辅助表来区分它们的范围, 配合 sql_query_range使用或是别的什么, 具体根据你的数据来决定.

写在最后

我一直都很喜欢 Sphinx，Sphinx可以如此容易的扩展到你所需要的足够多的机器上，并且这种方式在很多年前就已经在被使用了。然后，我想，我并没有和我往常一样，利用这个特性来使得在一台机器上的查询变得更快。嗯，这并不是在说它很慢或者其实什么，只是，查询永远不会太快，不是吗？

赞 (0)

相关推荐

  • 使用mydumper多线程备份MySQL数据库

    mysqldump:其特征之一是在处理过程中需要对列表加以锁定,因此如果我们需要在工作时段执行备份工作,那么会引起DML阻塞.但一般现在的MySQL都有主从,备份也大部分在从上进行,所以锁的问题可以不用考虑.这样,mydumper能更好的完成备份任务.Mydumper主要特性:是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具,开发人员主要来自MySQL,Facebook,SkySQL公司. 复制代码 代码如下: 1:轻量级C语言写的    2:执行速度比mysqldump快10倍

  • 在MySQL中使用Sphinx实现多线程搜索的方法

    MySQL.Sphinx及许多数据库和搜索引擎中的查询是单线程的.比如说,在一台32个CPU核心.16个磁盘的R910服务器上执行一个查询,它最多只会用到一个核心和一个磁盘.没错,只会使用一个. 如果查询是CPU密集型作业,那么会使用大约3%的整机CPU能力(以上述32核机器为例).如果是磁盘密集型,则大约会使用6%的整机IO能力(也是与上例同样的配置,16个磁盘组成RAID10或RAID0). 我再换个说法吧.如果你在一台单核单磁盘的机器上执行了某个查询,花了10秒,那么把同样的查询放到一台3

  • MySQL中查询、删除重复记录的方法大全

    前言 本文主要给大家介绍了关于MySQL中查询.删除重复记录的方法,分享出来供大家参考学习,下面来看看详细的介绍: 查找所有重复标题的记录: select title,count(*) as count from user_table group by title having count>1; SELECT * FROM t_info a WHERE ((SELECT COUNT(*) FROM t_info WHERE Title = a.Title) > 1) ORDER BY Titl

  • 详解MYSQL中重命名procedure的一种方法

    最近有用到对存储过程(procedure)重命名的功能,在网上找了一下资料都没有讲到在mysql中是如何实现的,当然可以删掉再重建,但是应该有别的方法,在"mysql"这个数据库(自带)中找了一下,发现两张表:func.proc,发现func表是空的,proc表记录了有关procedure和function有关的信息. 尝试对proc表进行更新,重命名成功了! 总结 以上所述是小编给大家介绍的MYSQL中重命名procedure的一种方法,希望对大家有所帮助,如果大家有任何疑问请给我留

  • Mysql中通过生日计算年龄的多种方法

    以前使用mysql不是很多,对mysql的函数也不是很熟悉,遇到这个问题第一时间百度搜索,搜索到这两种方法,这两种方法是排在百度第一条的博客. 方法一 SELECT DATE_FORMAT(FROM_DAYS(TO_DAYS(NOW())-TO_DAYS(birthday)), '%Y')+0 AS age 方法一,作者也说出了缺陷,就是当日期为未来日期时结果为0,而不是负数:这里使用了5个函数和两个运算符. 方法二 SELECT DATE_FORMAT(NOW(), '%Y') - DATE_

  • MySQL中随机生成固定长度字符串的方法

    要随机生成字符串代码如下: 在MySQL中定义一个随机串的方法,然后再SQL语句中调用此方法. 随机串函数定义方法: 复制代码 代码如下: CREATE DEFINER=`root`@`localhost` FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1 BEGIN DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGH

  • Mysql中分页查询的两个解决方法比较

    Mysql中分页查询的两个解决方法比较

    mysql中分页查询有两种方式, 一种是使用COUNT(*)的方式,具体代码如下 复制代码 代码如下: SELECT COUNT(*) FROM foo WHERE b = 1; SELECT a FROM foo WHERE b = 1 LIMIT 100,10; 另外一种是使用SQL_CALC_FOUND_ROWS 复制代码 代码如下: SELECT SQL_CALC_FOUND_ROWS a FROM foo WHERE b = 1 LIMIT 100, 10; SELECT FOUND_

  • mysql中insert与select的嵌套使用方法

    本文讲述了mysql中insert与select的嵌套使用的方法,对于初学MySQL的朋友有一定的借鉴价值. 这里需要实现在mysql从多个表中组合字段然后插入到一个新表中,通过一条sql语句实现该功能需求.具体情形是:有三张表a.b.c,现在需要从表b和表c中分别查几个字段的值插入到表a中对应的字段.对于这种情况,我们可以使用如下的语句来实现: INSERT INTO db1_name(field1,field2) SELECT field1,field2 FROM db2_name 当然,上

  • mysql中Table is read only的解决方法小结

    如果是使用中的数据库突然出现些类问题 在Linux下面执行下面命令就可以了,当然你要找到你的mysql目录 linux中 复制代码 代码如下: /usr/local/mysql/bin/mysqladmin -u root -p flush-tables windows中 可以在cmd中执行lush-tables 也可以在phpmyadmin 直利用修复表进行修改 如果是导入还原数据 ,所以将该数据库文件夹下面所有表文件chmod成777,chown成"_mysql",但这次问题更严重

  • mysql中使用sphinx搜索子域名需注意的问题

    搜索子域名 比如搜索jb51.net会把www.jb51.net.jb51.net.host.jb51.net等都搜索出来. 如果使用mysql用like的话效率是非常低的,几百万甚至上千万的数据那是没有办法使用的,于是采取sphinx来做. 在使用的过程中发现了诸多问题,这里将其总结起来,也让不知道的朋友注意下这些字符. 分析:sphinx是全文索引,它搜索的是包含的记录. 首先如果我们不做任何设置的话,搜索jb51.net会出现把aajb51.net.jb51.a.cn.jb51.net.c

  • MySQL中关于临时表的一些基本使用方法

    临时表可能是非常有用的,在某些情况下,保持临时数据.最重要的是应该知道的临时表是,他们将当前的客户端会话终止时被删除. 临时表中添加MySQL版本3.23.如果您使用的是旧版本的MySQL比3.23,可以不使用临时表,但可以使用堆表. 如前所述临时表将只持续只要的会话是存在的.如果运行一个PHP脚本中的代码,该临时表将被销毁时,会自动执行完脚本后.如果已连接到MySQL数据库的服务器上,通过MySQL的客户端程序的临时表将一直存在,直到关闭客户端或手动破坏的表. 实例 下面是一个例子,使用临时表

随机推荐