Mongodb设置TTL索引自动清除数据与过期数据的方法

Mongodb通常会被用来存储缓存数据或大尺寸、低价值的数据,对于这些类型的数据,数据量往往非常大,如果不定期清理,不但会影响性能,也会浪费大量的系统资源。

Mongodb其实可以像Redis一样设置数据的过期时间,TTL索引是MongoDB中一种特殊的索引,可以支持文档在一定时间之后自动过期删除,目前TTL索引只能在单字段上建立。

当你在集合中某一个字段建立TTL索引后,后台会有一个单线程,通过不断查询(默认60s一次)索引的值来判断document是否有过期,并且删除文档的动作还依据mongod实例的负载情况,如果负载很高,可能会稍微延后一段时间再删除。

创建TTL索引方法:

和普通索引的创建方法一样,只是会多加一个属性而已

例:在log_events的集合中,createTime 字段上建立一小时后过期的TTL索引

db.log_events.createIndex( { "createTime": 1 },   ---字段名称
  { expireAfterSeconds: 60*60 } )         ---过期时间(单位秒)

上例中creteTime字段类型必须是Date()类型

修改TTL索引的expireAfterSeconds属性值:

注:如果想更改过期时间expireAfterSeconds,可以使用collMod方法,要不然你只能只用dropIndex(),createIndex()方法重建索引了,但这样的方法在亿级数据量下是很头疼的

db.runCommand({ collMod: "log_events",     ---集合名
  index: { keyPattern: { createTime: 1 },   ---createTime为具有TTL索引的字段名
  expireAfterSeconds: 7200          ---修改后的过期时间(秒)
  }})

虽然上面的方法可以实现自动过期删除,但是如果白天业务很忙,频繁的删除数据势必会增加负载,所以我想着晚上定时删除过期数据(如果晚上业务量少的话)

方法如下:

增加一个expireTime字段(用于指定过期时间),expireAfterSeconds属性值设置为0,

注:上面的createTime字段就不需要再有TTL索引了,这个expireTime的时间就需要在插入时指定上

db.log_events.createIndex( { "expireTime": 1 },   ---字段名称
  { expireAfterSeconds: 0 } )           ---过期时间(单位秒)

db.log_events.insert( {
 "expireTime": new Date('Jan 22, 2019 23:00:00'), ---插入文档时指定自动删除时间
 "logEvent": 2,
 "logMessage": "Success!"} ) 

使用spring-data-mongodb 2.0.9中的

Document document = new Document();
document.append("createTime",1);
IndexOptions indexOptions = new IndexOptions();
indexOptions.expireAfter(300L,TimeUnit.SECONDS);
this.mongoTemplate.getCollection("test").createIndex(document,indexOptions);

createTime是时间字段

使用spring-data-mongodb 1.7.0中的

BasicDBObject bson = new BasicDBObject();
      bson.append("createTime",1);
BasicDBObject options = new BasicDBObject();
options.append("expireAfterSeconds",7200);
      this.mongoTemplate.getCollection("test").createIndex(bson,options);

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

(0)

相关推荐

  • Python使用pymongo库操作MongoDB数据库的方法实例

    python操作mongodb数据库 # !/usr/bin/env python # -*- coding:utf-8 -*- """ 使用pymongo库操作MongoDB数据库 """ import pymongo # 1.连接数据库服务器,获取客户端对象 mongo_client=pymongo.MongoClient('localhost',27017) # 2.获取数据库对象 db=mongo_client.myDB # db=mon

  • windows与mac安装mongodb数据库的方法步骤与注意事项

    nosql数据库 --mongodb数据库! Mongo DB 是目前在IT行业非常流行的一种非关系型数据库(NoSql),其灵活的数据存储方式备受当前IT从业人员的青睐.Mongo DB很好的实现了面向对象的思想(OO思想),在Mongo DB中每一条记录都是一个Document对象.Mongo DB最大的优势在于所有的数据持久操作都无需开发人员手动编写SQL语句,直接调用方法就可以轻松的实现CRUD操作. windows 安装 这里我说的是命令行安装方法 准备.到官网下载相应的版本 http

  • MongoDB基础入门之创建、删除集合操作

    创建集合 语法格式 db.createCollection(name, {capped: <Boolean>, autoIndexId: <Boolean>, size: <number>, max <number>}) 参数说明 name: 要创建的集合的名称 options: 可选参数,指定有关内存大小及索引的选项 options参数说明 参数名 参数类型 参数说明 capped 布尔 如果为 true,则创建固定集合.默认为不启用<br />

  • Golang Mongodb模糊查询的使用示例

    前言 在日常使用的Mongodb中,有一项功能叫做模糊查询(使用正则匹配),例如: db.article.find({"title": {$regex: /a/, $options: "im"}}) 这是我们常用Mongodb的命令行使用的方式,但是在mgo中做出类似的方式视乎是行不通的: query := bson.M{"title": bson.M{"$regex": "/a/", "$opt

  • PHP封装的简单连接MongoDB类示例

    本文实例讲述了PHP封装的简单连接MongoDB类.分享给大家供大家参考,具体如下: 1. 封装MongoDB类 <?php class MongoDB { private $database; private $mongo; function __construct() { $this->mongo = new MongoClient("mongodb://user:password@server_address:port/admin"); $this->datab

  • Windows上php5.6操作mongodb数据库示例【配置、连接、获取实例】

    本文实例讲述了Windows上php5.6操作mongodb数据库的方法.分享给大家供大家参考,具体如下: 一.配置 针对不同线程安全.VC版本的 PHP 发行版,可从 PECL 获取到预编译的二进制文件. 解压,并把 php_mongo.dll 放到 PHP 扩展目录(默认是 "ext"). 将以下内容添加到 php.ini 文件: extension=php_mongo.dll Note: 为 Windows 用户添加额外的依赖 DLL 为了使此扩展生效, DLL 文件必须能在 W

  • MongoDB的基本特性与内部构造的讲解

    MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型.Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引. 对于大多数的MongoDB的用户来说,MongoDB就像是一个大黑盒.但是如果你能够了解到MongoDB一些内部构造的话,将有利于你更好地理

  • PHP使用mongoclient简单操作mongodb数据库示例

    本文实例讲述了PHP使用mongoclient简单操作mongodb数据库.分享给大家供大家参考,具体如下: 最好回到<mongodb shell基础命令[进阶篇]>,再来看这里的内容,否则有些东西我讲的比较笼统. 好了,不废话了,直接贴代码吧,别害怕看代码,基本每行都写了注释了 <!-- 1.本文采用mongoClient类来实现mongodb的简单操作, 2.需要事先熟悉<mongodb基础命令--进阶篇>的内容 3.其中更新数据部分只给出了一个$set的例子,但是跟操作

  • node链接mongodb数据库的方法详解【阿里云服务器环境ubuntu】

    本文实例讲述了node链接mongodb数据库的方法.分享给大家供大家参考,具体如下: 一.安装2.6版本以上的mongodb在云服务器上(百度就能查到安装方法,以及验证是否安装成功一般是mongodb –version): 二.因为mongodb的默认开启端口是27017,所以要在Ubuntu上开启这个端口: ufw allow 27017 ufw enable ufw reload ufw status //这是查看这个端口是否开启,iptables --list也可以查看 光在服务器开了端

  • MongoDB中的参数限制与阀值详析

    前言 今天搜索spark mongo的资料,意外发现了MongoDB的一些知识,这些都是之前没有接触过的,所以专门记录下. (๑• . •๑) 下面话不多说了,来一起看看详细的介绍吧 一.BSON文档 BSON文档尺寸:一个document文档最大尺寸为16M:大于16M的文档需要存储在GridFS中. 文档内嵌深度:BSON文档的结构(tree)深度最大为100. 二.Namespaces collection命名空间:.,最大长度为120字节.这也限定了database和collection

随机推荐