MongoDB数据库中索引和explain的使用教程

前言

本文主要给大家介绍了关于MongoDB中索引和explain使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍:

mongodb 索引使用

作用

  • 索引通常能够极大的提高查询。
  • 索引是一种数据结构,他搜集一个集合中文档特定字段的值。
  • B-Tree索引来实现。

创建索引

db.collection.createIndex(keys, options)

keys

  • keys由文档字段和索引类型组成。如{"name":1}
  • key 表示字段 value 1,-1  1表示升序,-1降序

options

options 创建索引的选项。

参数 类型 描述
background boolean 创建索引在后台运行,不会阻止其他对数据库操作
unique boolean 创建唯一索引,文档的值不会重复
name string 索引名称,默认是:字段名_排序类型 开始排序
sparse boolean 过滤掉null,不存在的字段

查看索引

 db.collection.getIndexes()
 {
  "v" : 1,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "leyue.userdatas"
 },
 {
  "v" : 1,
  "key" : {
   "name" : 1 //索引字段
  },
  "name" : "name_1", //索引名称
  "ns" : "leyue.userdatas"
 }

删除索引

db.collection.dropIndex(index) 删除指定的索引。

db.collection.dropIndexes() 删除除了_id 以外的所有索引。

  • index 是字符串 表示按照索引名称 name 删除字段。
  • index 是{字段名称:1} 表示按照key 删除索引。

创建/查看/删除 示例

查看数据

  db.userdatas.find()
{ "_id" : ObjectId("597f357a09c84cf58880e412"), "name" : "u3", "age" : 32 }
{ "_id" : ObjectId("597f357a09c84cf58880e411"), "name" : "u4", "age" : 30, "score" : [ 7, 4, 2, 0 ] }
{ "_id" : ObjectId("597fcc0f411f2b2fd30d0b3f"), "age" : 20, "score" : [ 7, 4, 2, 0, 10, 9, 8, 7 ], "name" : "lihao" }
{ "_id" : ObjectId("597f357a09c84cf58880e413"), "name" : "u2", "age" : 33, "wendang" : { "yw" : 80, "xw" : 90 } }
{ "_id" : ObjectId("5983f5c88eec53fbcd56a7ca"), "date" : ISODate("2017-08-04T04:19:20.693Z") }
{ "_id" : ObjectId("597f357a09c84cf58880e40e"), "name" : "u1", "age" : 26, "address" : "中国砀山" }
{ "_id" : ObjectId("597f357a09c84cf58880e40f"), "name" : "u1", "age" : 37, "score" : [ 10, 203, 12, 43, 56, 22 ] }
{ "_id" : ObjectId("597f357a09c84cf58880e410"), "name" : "u5", "age" : 78, "address" : "china beijing chaoyang" }

给字段name 创建索引

 // 创建索引
 db.userdatas.createIndex({"name":1})

 {
  "createdCollectionAutomatically" : false,
  "numIndexesBefore" : 1,
  "numIndexesAfter" : 2,
  "ok" : 1
 }

 // 查看索引
 db.userdatas.getIndexes()

 [
  {
   "v" : 1,
   "key" : {
    "_id" : 1
   },
   "name" : "_id_",
   "ns" : "leyue.userdatas"
  },
  {
   "v" : 1,
   "key" : {
    "name" : 1
   },
   "name" : "name_1",
   "ns" : "leyue.userdatas"
  }
 ]

给字段name 创建索引并命名为myindex

 db.userdatas.createIndex({"name":1})

 db.userdatas.createIndex({"name":1},{"name":"myindex"})

 db.userdatas.getIndexes()
 [
  {
   "v" : 1,
   "key" : {
    "_id" : 1
   },
   "name" : "_id_",
   "ns" : "leyue.userdatas"
  },
  {
   "v" : 1,
   "key" : {
    "name" : 1
   },
   "name" : "myindex",
   "ns" : "leyue.userdatas"
  }
 ]

给字段name 创建索引 创建的过程在后台执行

当mongodb 集合里面的数据过大时 创建索引很耗时,可以在放在后台运行。

 db.userdatas.dropIndex("myindex")

 db.userdatas.createIndex({"name":1},{"name":"myindex","background":true})

给age 字段创建唯一索引

 db.userdatas.createIndex({"age":-1},{"name":"ageIndex","unique":true,"sparse":true})

 db.userdatas.getIndexes()

[
 {
  "v" : 1,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "leyue.userdatas"
 },
 {
  "v" : 1,
  "key" : {
   "name" : 1
  },
  "name" : "myindex",
  "ns" : "leyue.userdatas",
  "background" : true
 },
 {
  "v" : 1,
  "unique" : true,
  "key" : {
   "age" : -1
  },
  "name" : "ageIndex",
  "ns" : "leyue.userdatas",
  "sparse" : true
 }
]

// 插入一个已存在的age
 db.userdatas.insert({ "name" : "u8", "age" : 32})

WriteResult({
 "nInserted" : 0,
 "writeError" : {
  "code" : 11000,
  "errmsg" : "E11000 duplicate key error index: leyue.userdatas.$ageIndex dup key: { : 32.0 }"
 }
})

创建复合索引

 db.userdatas.createIndex({"name":1,"age":-1})

 db.userdatas.getIndexes()
[
 {
  "v" : 1,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "leyue.userdatas"
 },
 {
  "v" : 1,
  "key" : {
   "name" : 1,
   "age" : -1
  },
  "name" : "name_1_age_-1",
  "ns" : "leyue.userdatas"
 }
]

所有的字段都存在集合 system.indexes 中

db.system.indexes.find()
{ "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "leyue.userdatas" }
{ "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "leyue.scores" }
{ "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "leyue.test" }
{ "v" : 1, "key" : { "user" : 1, "name" : 1 }, "name" : "myindex", "ns" : "leyue.test" }
{ "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "leyue.mycapped" }
{ "v" : 1, "key" : { "user" : 1 }, "name" : "user_1", "ns" : "leyue.test" }
{ "v" : 1, "key" : { "name" : 1 }, "name" : "myindex", "ns" : "leyue.userdatas" }

索引总结

1:创建索引时,1表示按升序存储,-1表示按降序存储。

2:可以创建复合索引,如果想用到复合索引,必须在查询条件中包含复合索引中的前N个索引列

3: 如果查询条件中的键值顺序和复合索引中的创建顺序不一致的话,

MongoDB可以智能的帮助我们调整该顺序,以便使复合索引可以为查询所用。

4: 可以为内嵌文档创建索引,其规则和普通文档创建索引是一样的。

5: 一次查询中只能使用一个索引,$or特殊,可以在每个分支条件上使用一个索引。

6: $where,$exists不能使用索引,还有一些低效率的操作符,比如:$ne,$not,$nin等。

7: 设计多个字段的索引时,应该尽量将用于精确匹配的字段放在索引的前面。

explain 使用

语法

 db.collection.explain().<method(...)>

explain() 可以设置参数 :

  • queryPlanner。
  • executionStats。
  • allPlansExecution。

示例

for(var i=0;i<100000;i++) {
 db.test.insert({"user":"user"+i});
}

没有使用索引

 db.test.explain("executionStats").find({"user":"user200000"})
{
 "queryPlanner" : {
  "plannerVersion" : 1,
  "namespace" : "leyue.test",
  "indexFilterSet" : false,
  "parsedQuery" : {
   "user" : {
    "$eq" : "user200000"
   }
  },
  "winningPlan" : {
   "stage" : "COLLSCAN",
   "filter" : {
    "user" : {
     "$eq" : "user200000"
    }
   },
   "direction" : "forward"
  },
  "rejectedPlans" : [ ]
 },
 "executionStats" : {
  "executionSuccess" : true,
  "nReturned" : 2,
  "executionTimeMillis" : 326,
  "totalKeysExamined" : 0,
  "totalDocsExamined" : 1006497,
  "executionStages" : {
   "stage" : "COLLSCAN",
   "filter" : {
    "user" : {
     "$eq" : "user200000"
    }
   },
   "nReturned" : 2,
   "executionTimeMillisEstimate" : 270,
   "works" : 1006499,
   "advanced" : 2,
   "needTime" : 1006496,
   "needYield" : 0,
   "saveState" : 7863,
   "restoreState" : 7863,
   "isEOF" : 1,
   "invalidates" : 0,
   "direction" : "forward",
   "docsExamined" : 1006497
  }
 },
 "serverInfo" : {
  "host" : "lihaodeMacBook-Pro.local",
  "port" : 27017,
  "version" : "3.2.1",
  "gitVersion" : "a14d55980c2cdc565d4704a7e3ad37e4e535c1b2"
 },
 "ok" : 1
}
  • executionStats.executionTimeMillis: query的整体查询时间。
  • executionStats.nReturned : 查询返回的条目。
  • executionStats.totalKeysExamined : 索引扫描条目。
  • executionStats.totalDocsExamined: 文档扫描条目。

executionTimeMillis = 326 query 执行时间

nReturned=2 返回两条数据

totalKeysExamined=0 没有用到索引

totalDocsExamined 全文档扫描

理想状态:

nReturned=totalKeysExamined & totalDocsExamined=0

Stage状态分析

stage 描述
COLLSCAN 全表扫描
IXSCAN 扫描索引
FETCH 根据索引去检索指定document
SHARD_MERGE 将各个分片返回数据进行merge
SORT 表明在内存中进行了排序
LIMIT 使用limit限制返回数
SKIP 使用skip进行跳过
IDHACK 针对_id进行查询
SHARDING_FILTER 通过mongos对分片数据进行查询
COUNT 利用db.coll.explain().count()之类进行count运算
COUNTSCAN count不使用Index进行count时的stage返回
COUNT_SCAN count使用了Index进行count时的stage返回
SUBPLA 未使用到索引的$or查询的stage返回
TEXT 使用全文索引进行查询时候的stage返回
PROJECTION 限定返回字段时候stage的返回

对于普通查询,我希望看到stage的组合(查询的时候尽可能用上索引):

Fetch+IDHACK

Fetch+ixscan

Limit+(Fetch+ixscan)

PROJECTION+ixscan

SHARDING_FITER+ixscan

COUNT_SCAN

不希望看到包含如下的stage:

COLLSCAN(全表扫描),SORT(使用sort但是无index),不合理的SKIP,SUBPLA(未用到index的$or),COUNTSCAN(不使用index进行count)

使用索引

  db.test.createIndex({"user":1},{"name":"myindex","background":true})

  db.test.explain("executionStats").find({"user":"user200000"})
{
  "queryPlanner" : {
    "plannerVersion" : 1,
    "namespace" : "leyue.test",
    "indexFilterSet" : false,
    "parsedQuery" : {
      "user" : {
        "$eq" : "user200000"
      }
    },
    "winningPlan" : {
      "stage" : "FETCH",
      "inputStage" : {
        "stage" : "IXSCAN",
        "keyPattern" : {
          "user" : 1
        },
        "indexName" : "myindex",
        "isMultiKey" : false,
        "isUnique" : false,
        "isSparse" : false,
        "isPartial" : false,
        "indexVersion" : 1,
        "direction" : "forward",
        "indexBounds" : {
          "user" : [
            "[\"user200000\", \"user200000\"]"
          ]
        }
      }
    },
    "rejectedPlans" : [ ]
  },
  "executionStats" : {
    "executionSuccess" : true,
    "nReturned" : 2,
    "executionTimeMillis" : 0,
    "totalKeysExamined" : 2,
    "totalDocsExamined" : 2,
    "executionStages" : {
      "stage" : "FETCH",
      "nReturned" : 2,
      "executionTimeMillisEstimate" : 0,
      "works" : 3,
      "advanced" : 2,
      "needTime" : 0,
      "needYield" : 0,
      "saveState" : 0,
      "restoreState" : 0,
      "isEOF" : 1,
      "invalidates" : 0,
      "docsExamined" : 2,
      "alreadyHasObj" : 0,
      "inputStage" : {
        "stage" : "IXSCAN",
        "nReturned" : 2,
        "executionTimeMillisEstimate" : 0,
        "works" : 3,
        "advanced" : 2,
        "needTime" : 0,
        "needYield" : 0,
        "saveState" : 0,
        "restoreState" : 0,
        "isEOF" : 1,
        "invalidates" : 0,
        "keyPattern" : {
          "user" : 1
        },
        "indexName" : "myindex",
        "isMultiKey" : false,
        "isUnique" : false,
        "isSparse" : false,
        "isPartial" : false,
        "indexVersion" : 1,
        "direction" : "forward",
        "indexBounds" : {
          "user" : [
            "[\"user200000\", \"user200000\"]"
          ]
        },
        "keysExamined" : 2,
        "dupsTested" : 0,
        "dupsDropped" : 0,
        "seenInvalidated" : 0
      }
    }
  },
  "serverInfo" : {
    "host" : "lihaodeMacBook-Pro.local",
    "port" : 27017,
    "version" : "3.2.1",
    "gitVersion" : "a14d55980c2cdc565d4704a7e3ad37e4e535c1b2"
  },
  "ok" : 1
}

executionTimeMillis: 0

totalKeysExamined: 2

totalDocsExamined:2

nReturned:2

stage:IXSCAN

使用索引和不使用差距很大,合理使用索引,一个集合适合做 4-5 个索引。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对我们的支持。

相关文章

http://www.mongoing.com/eshu_explain3

https://docs.mongodb.com/v3.2/reference/explain-results/#queryplanner

(0)

相关推荐

  • pymongo给mongodb创建索引的简单实现方法

    本文实例讲述了pymongo给mongodb创建索引的简单实现方法.分享给大家供大家参考.具体如下: 下面的代码给user的user_name字段创建唯一索引 import pymongo mongo = pymongo.Connection('localhost') collection = mongo['database']['user'] collection.ensure_index('user_name', unique=True) 希望本文所述对大家的Python程序设计有所帮助.

  • MongoDB的基础查询和索引操作方法总结

    查询操作 1.查询所有记录 db.userInfo.find(); 相当于: select* from userInfo; 2.查询去掉后的当前聚集集合中的某列的重复数据 db.userInfo.distinct("name"); 会过滤掉name中的相同数据 相当于: select disttince name from userInfo; 3.查询age = 22的记录 db.userInfo.find({"age": 22}); 相当于: select * f

  • MongoDB中创建索引需要注意的事项

    上周在 ruby-china 上发了帖子<MongoDB 那些坑>,反映相当热烈,许多回复很有见地,其中一位童鞋深入的提到 MongoDB 建索引方法的问题,引发我更深入的了解了 MongoDB 建索引的方法和一些注意事项. 在 <MongoDB 那些坑>中提到,在前台直接运行建立索引命令的话,将造成整个数据库阻塞,因此索引建议使用 background 的方式建立.但是这也会带来一定的问题,在 2.6 版本之前,在 secondary server 中即使使用 backgroun

  • MongoDB性能篇之创建索引,组合索引,唯一索引,删除索引和explain执行计划

    一.索引 MongoDB 提供了多样性的索引支持,索引信息被保存在system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和MySQL 等关系型数据库一样.其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似的索引实现及使用接口并不足为 奇. 1.基础索引 在字段age 上创建索引,1(升序);-1(降序): db.users.ensureIndex({age:1}) _id 是创建表的时候自动创建的索引,此索引是不能够删除的.当

  • MongoDB索引使用详解

    索引就像书的目录,如果查找某内容在没有目录的帮助下,只能全篇查找翻阅,这导致效率非常的低下:如果在借助目录情况下,就能很快的定位具体内容所在区域,效率会直线提高. 索引简介 首先打开命令行,输入mongo.默认mongodb会连接名为test的数据库. ➜ ~ mongo MongoDB shell version: 2.4.9 connecting to: test > show collections > 可以使用show collections/tables查看数据库为空. 然后在mon

  • MongoDB查询字段没有创建索引导致的连接超时异常解案例分享

    今天在现场的哥们发来异常,让我解决,错误信息如下: 复制代码 代码如下: HTTP Status 500 - Read operation to server 192.168.1.110:20001 failed on database wpdb; nested exception is com.mongodb.MongoException$Network: Read operation to server 192.168.1.110:20001 failed on database wpdb

  • MongoDB数据库中索引和explain的使用教程

    前言 本文主要给大家介绍了关于MongoDB中索引和explain使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: mongodb 索引使用 作用 索引通常能够极大的提高查询. 索引是一种数据结构,他搜集一个集合中文档特定字段的值. B-Tree索引来实现. 创建索引 db.collection.createIndex(keys, options) keys keys由文档字段和索引类型组成.如{"name":1} key 表示字段 value 1,-1 

  • MongoDB数据库中索引(index)详解

    索引:特殊的数据结构,存储表的数据的一小部分以实现快速查询 优点: 1.大大减少了服务器需要扫描的数据量 2.索引可以帮助服务器避免排序或使用临时表 3.索引可以将随机io转换为顺序io 索引评估:三星(非常好) 一星:索引如果能将相关的记录放置到一起 二星:索引中数据的存储顺序与查找标准中顺序一致 三星:如果索引中包含查询中所需要的全部数据:(覆盖索引) DBA书:关系型数据库索引设计与优化 索引类别: 顺序索引 散列索引:将索引映射至散列桶上,映射是通过散列函数进行的 评估索引的标准: 访问

  • pymongo为mongodb数据库添加索引的方法

    本文实例讲述了pymongo为mongodb数据库添加索引的方法.分享给大家供大家参考.具体实现方法如下: from pymongo import ASCENDING, DESCENDING posts.create_index([("date", DESCENDING), ("author", ASCENDING)]) 返回: u'date_-1_author_1' 希望本文所述对大家的Python程序设计有所帮助.

  • python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中

    爬取TOP500的音乐信息,包括排名情况.歌曲名.歌曲时间. 网页版酷狗不能手动翻页进行下一步的浏览,仔细观察第一页的URL: http://www.kugou.com/yy/rank/home/1-8888.html 这里尝试将1改为2,再进行浏览,恰好是第二页的信息,再改为3,恰好是第三页的信息,多次尝试发现不同的数字即为不同的页面.因此只需更改home/后面的数字即可.由于每页显示的为22首歌曲,所以总共需要23个URL. import requests from bs4 import B

  • mysql 数据库中索引原理分析说明

    下面,我们举例来说明一下聚集索引和非聚集索引的区别:其实,我们的汉语字典的正文本身就是一个聚集索引.比如,我们要查"安"字,就会很自然地翻开字典的前几页,因为"安"的拼音是"an",而按照拼音排序汉字的字典是以英文字母"a"开头并以"z"结尾的,那么"安"字就自然地排在字典的前部.如果您翻完了所有以"a"开头的部分仍然找不到这个字,那么就说明您的字典中没有这个字:同样

  • MongoDB创建一个索引而性能提升1000倍示例代码

    MongoDB 创建索引的语法 1.为普通字段添加索引,并且为索引命名 db.集合名.createIndex( {"字段名": 1 },{"name":'idx_字段名'}) 说明: (1)索引命名规范:idx_<构成索引的字段名>.如果字段名字过长,可采用字段缩写. (2)字段值后面的 1 代表升序:如是 -1 代表 降序. 2.为内嵌字段添加索引 db.集合名.createIndex({"字段名.内嵌字段名":1},{"

  • PHP实现的mongoDB数据库操作类完整实例

    本文实例讲述了PHP实现的mongoDB数据库操作类.分享给大家供大家参考,具体如下: 最近的项目开发中使用的数据库是mongodb数据库,因为小编的公司也是刚刚使用mongodb数据库,所以之前没有封装好的mongodb数据库操作类拿来使用,所以小编在项目中自己封装了一个mongodb数据库操作类,特拿出来分享,不尽人意的地方希望大家勿喷. 众所周知,mongodb是典型的nosql数据库的代表,受到很多开发者的追捧,近几年尤为火热,mongodb的流行不是没有原因的,下边给大家简单介绍下Mo

  • Python实现读取SQLServer数据并插入到MongoDB数据库的方法示例

    本文实例讲述了Python实现读取SQLServer数据并插入到MongoDB数据库的方法.分享给大家供大家参考,具体如下: # -*- coding: utf-8 -*- import pyodbc import os import csv import pymongo from pymongo import ASCENDING, DESCENDING from pymongo import MongoClient import binascii '''连接mongoDB数据库''' clie

  • MongoDB数据库两阶段提交实现事务的方法详解

    本文实例讲述了MongoDB数据库两阶段提交实现事务的方法.分享给大家供大家参考,具体如下: MongoDB数据库中操作单个文档总是原子性的,然而,涉及多个文档的操作,通常被作为一个"事务",而不是原子性的.因为文档可以是相当复杂并且包含多个嵌套文档,单文档的原子性对许多实际用例提供了支持.尽管单文档操作是原子性的,在某些情况下,需要多文档事务.在这些情况下,使用两阶段提交,提供这些类型的多文档更新支持.因为文档可以表示为Pending数据和状态,可以使用一个两阶段提交确保数据是一致的

  • Python操作mongodb数据库进行模糊查询操作示例

    本文实例讲述了Python操作mongodb数据库进行模糊查询操作.分享给大家供大家参考,具体如下: # -*- coding: utf-8 -*- import pymongo import re from pymongo import MongoClient #创建连接 #10.20.66.106 client = MongoClient('10.20.4.79', 27017) #client = MongoClient('10.20.66.106', 27017) db_name = '

随机推荐