关于单台MongoDB实例开启Oplog的过程详解

背景

随着数据的积累，MongoDB中的数据量越来越大，数据分析团队从数据库中抽取变化数据（假如依据栏位createdatetime,transdatetime），越来越困难。我们知道MongoDB的副本集有一个数据结构Oplog，里面存储了Primary节点的所有写操作（此处的写操作是指查询以外的操作，包含 更新、异常等）。其实，数据的抽取完全可以从Oplog中抓取这些操作，然后去重放。

oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。

Oplog 可以说是Mongodb Replication的纽带了。

但是在实际的生产环境中，我们很多MongoDB 数据库是单实例的，那么我们能否在单实例数据库上开启Oplog？

答案是肯定的。

其原理就是，在单实例上配置副本集，如果配置成功了，自然就有了Oplog。

配置过程

其实配置的过程比较简单。

step 1 ： 在配置文件中 添加副本集参数（replSet）；

step 2 ：重启服务；

step 3：在local数据库或admin数据库执行初始化副本集的脚本，rs.initiate()。

注意事项

1. 在配置文件中增加副本集参数（replSet=？？），MongoDB实例重启，第一次登入，执行其他命令时（例如：show dbs），会提示错误，错误信息如下，

{
"ok" : 0,
"errmsg" : "not master and slaveOk=false",
"code" : 13435,
"codeName" : "NotMasterNoSlaveOk"
}

此时一定要执行初始化的命令：

rs.initiate({ _id: "副本集名称", members: [{_id:0,host:"ServerIP:MongoDBPort"}]})

2 . 初始化时，请指明 Server信息和端口信息，否则初始化时可能报错，报错信息如下

"errmsg" : "No host described in new configuration 1 for replica set replwms maps to this node",

指定IP 和 端口，副本集名称，例如执行以下命令，OK

3 . 副本集初始化可以在admin中执行，不仅仅可以在local数据库中执行【真正的副本集建立多是在admin库中执行】。

而不像有些文章中要求的那样 ：You just need to issuers.initiate()on thelocaldatabase:

4. 初始完，副本集中唯一的节点，可能短时间显示为SECONDARY或OTHER。一般而言，稍等一会，就会自然恢复为primary，无需人工干预。

或

如果数据库的数据量不大，并且长时间初始这种过渡状态（SECONDARY或OTHER），去看实例的日志，也显示无进展，此时可以考虑重启服务。

下面案例是我们实际遇到的一个场景，我们是通过重启服务解决此问题，角色由other重启转换为Primary

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • 利用MongoDB中oplog机制实现准实时数据的操作监控

    利用MongoDB中oplog机制实现准实时数据的操作监控

    前言 最近有一个需求是要实时获取到新插入到MongoDB的数据,而插入程序本身已经有一套处理逻辑,所以不方便直接在插入程序里写相关程序,传统的数据库大多自带这种触发器机制,但是Mongo没有相关的函数可以用(也可能我了解的太少了,求纠正),当然还有一点是需要python实现,于是收集整理了一个相应的实现方法. 一.引子 首先可以想到,这种需求其实很像数据库的主从备份机制,从数据库之所以能够同步主库是因为存在某些指标来做控制,我们知道MongoDB虽然没有现成触发器,但是它能够实现主从备份,所以我

  • 关于单台MongoDB实例开启Oplog的过程详解

    背景 随着数据的积累,MongoDB中的数据量越来越大,数据分析团队从数据库中抽取变化数据(假如依据栏位createdatetime,transdatetime),越来越困难.我们知道MongoDB的副本集有一个数据结构Oplog,里面存储了Primary节点的所有写操作(此处的写操作是指查询以外的操作,包含 更新.异常等).其实,数据的抽取完全可以从Oplog中抓取这些操作,然后去重放. oplog是local库下的一个固定集合,Secondary就是通过查看Primary 的oplog这个集

  • nginx 开启 pathinfo的过程详解

    apache往nginx去转,代码端用到了$_SERVER['PATH_INFO'],对于nginx默认是不开启pathinfo的.所以我们就要手动开启 1,url重写 location / { //方法1 if (!-e $request_filename) { rewrite ^/(.*)$ /index.php/$1 last; break; } } location / { //方法2 try_files $uri $uri/ /index.php$uri; } 2,pathinfo设置

  • MongoDB windows解压缩版安装教程详解

    MongoDB windows解压缩版安装教程详解

    创建目录如下 将mongodb的压缩包解压到mongodb目录下 mongodata下创建data目录存放数据:创建log目录存放目录 cmd 输入命令: D:\mongo\mongodb\bin\mongod.exe --dbpath "D:\mongo\mongodata\data" --logpath "D:\mongo\mongodata\log\MongoDB.log" --install --serviceName "mongo" -

  • js单页hash路由原理与应用实战详解

    本文主要介绍了js单页hash路由原理与应用实战详解,分享给大家,具体如下: 什么是路由? 通俗点说,就是不同的URL显示不同的内容 什么是单页应用? 单页,英文缩写为SPA( Single Page Application),就是把各种功能做在一个页面内. 那所谓的单页路由应用就是:在一个页面内,通过切换地址栏的URL来实现切换内容的变化. 如何知道URL切换了呢? 当url后面的锚文本发生变化时, 会触发onhashchange事件.通过这个事件,我们就可以对不同的URL 做出不同的处理.锚

  • Svg.js实例教程及使用手册详解（一）

    什么是SVG? SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量的图形 SVG 使用 XML 格式定义图形 SVG 图像在放大或改变尺寸的情况下其图形质量不会有所损失 SVG 是万维网联盟的标准 SVG 与诸如 DOM 和 XSL 之类的 W3C 标准是一个整体 简介: SVG.js是一个轻量级的JavaScript库,允许你轻松操作SVG和定义动画. SVG(Scalable Vector Graphics,可缩放矢量图形)是基

  • 实例解说TCP连接建立及结束过程详解

    实例解说TCP连接建立及结束过程详解

    [简 介] TCP连接是面向可靠的连接,它通过建立可靠连接实现数据的可靠传输,在应用程序中被广泛使用.由于FTP命令采用的连接就是TCP连接,下面给大家介绍一下如何使用Sniffer工具捕获FTP命令数据包,分析TCP连接建立和结束的详细过程,使大家更好地理解和详细掌握TCP连接建立的三次握手过程和四次结束的过程.   一.FTP命令数据包的捕获 1.搭建网络环境.建立一台FTP服务器,设置IP地址为:76.88.16.16.建立一台FTP客户端,IP地址设为76.88.16.104,在其上安装

  • MongoDB中MapReduce的使用方法详解

    前言 玩过Hadoop的小伙伴对MapReduce应该不陌生,MapReduce的强大且灵活,它可以将一个大问题拆分为多个小问题,将各个小问题发送到不同的机器上去处理,所有的机器都完成计算后,再将计算结果合并为一个完整的解决方案,这就是所谓的分布式计算.本文我们就来看看MongoDB中MapReduce的使用. 打算用mongodb mapreduce之前一定要知道的事!!! mapreduce其实是分批处理数据的,每一百次重新reduce处理,所以到reduce里的数据如果是101条,那就会分

  • MongoDB基础命令以及操作示例详解

    前言 Mongodb是一个非关系型数据库软件(NoSql),以类似json的形式bson存储数据,bson有二进制的json的意思,官方说bson的效率更高,很适合存储类似于对象的数据,这里权当把自己学习的过程记录下来. 关于MongoDB的安装方法给大家推荐下面这几篇文章: 1.Linux下安装MongoDB的实现步骤 2.window下安装配置mongodb的教程图解 3.Mac中mongoDB的安装与卸载步骤详解 好了,下面开始本文的正文: MongoDB:NoSQL数据库 MongoDB

  • 对Tensorflow中Device实例的生成和管理详解

    1. 关键术语描述 kernel 在神经网络模型中,每个node都定义了自己需要完成的操作,比如要做卷积.矩阵相乘等. 可以将kernel看做是一段能够跑在具体硬件设备上的算法程序,所以即使同样的2D卷积算法,我们有基于gpu的Convolution 2D kernel实例.基于cpu的Convolution 2D kernel实例. device 负责运行kernel的具体硬件设备抽象.每个device实例,对应系统中一个具体的处理器硬件,比如gpu:0 device, gpu:1 devic

  • 从表单校验看JavaScript策略模式的使用详解

    众所周知的是,表单确实在前端,唔,或者说在网页中占有不小的比重.事实上,几乎每一个中大型网站都会有"登录注册"以验证用户信息.防止一些不可名状的隐患... 那么表单的优劣就成了前端开发者急需解决的问题.其实我更愿意称为"代码的可读性"或"可复用性"以及"是否冗杂". 表单也有"优劣"?你在开玩笑嘛? 我想你可以认真看下下面的代码,它用到了一些"新知识": <form action=

随机推荐