MongoDB balancer的使用详解
在MongoDB中，balancer(平衡器)是一个后台进程，它监控每个shard上的chunk数量，一旦chunk的数量差异超过了阈值，balancer会自动迁移数据块，从而保证每个分片上chunk数量的相对平衡。
整个搬迁的过程对于用户来说是透明的，但是搬迁的过程中会对用户产生一些影响。
01 balancer简介
从MongoDB3.4开始，balancer运行在config server的主节点上。
在3.4版本中，balancer进程活跃期间，config server的主节点通过修改locks集合中的一个_id为balancer的文档，来持有"balancer lock"；
3.6版本中，balancer不再持有锁
默认的情况下，balancer始终处于开启状态，可以使用下面的命令来查看balancer的运行情况：
mongos> sh.getBalancerState() true
同样的，我们可以使用下面几个命令来简单的管理balancer：
查看banlancer是否正在工作 sh.isBalancerRunning() 停止balancer sh.stopBalancer() 启动balancer sh.setBalancerState( true )
02 balancer工作中可能对业务造成的影响？
1、磁盘占用：
从MongoDB2.6开始，MongoDB会自动归档迁移的chunk文档，以方便在chunk搬迁过程中出现问题后的文档恢复。
我们可以通过配置文件中的参数：sharding.archiveMovedChunks
来控制是否开启迁移过程中chunk的自动归档，该参数在MongoDB2.6和3.0版本是默认开启的，其他版本都是默认关闭的。
2、带宽和负载占用：
balancer再对chunk迁移过程中，会造成带宽和负载方面的开销。为了减轻这些影响，平衡器做了如下的工作：
a、一次迁移只能迁一个chunk，
b、一个shard同一时间只能执行一个迁移任务
c、从MongoDB3.4开始，引入了并行的chunk迁移，对于一个有n个shard的集群，每次最多并行迁移n/2(向下取整)个数据块
d、只有当chunk数量最多的shard和chunk数量最少的shard的差异达到阈值的时候，才开始迁移chunk
e、支持用户设置balancer的窗口时间，在业务低峰窗口时间内进行chunk的迁移工作，从而最大程度减轻对业务的影响。
03 设置balancer的执行时间窗口
1、通过mongo shell连接到mongos上
2、切换到config数据库
use config
3、确保当前balancer是开启的
sh.getBalancerState() 返回true
4、设置窗口时间
db.settings.update(
{ _id: "balancer" },
{ $set: { activeWindow : { start : "<start-time>", stop : "<stop-time>" } } },
{ upsert: true }
)
其中，start-time和stop-time的取值如下：
- For HH values, use hour values ranging from 00 - 23.
- For MM value, use minute values ranging from 00 - 59.
MongoDb会以config数据库的primary节点的时间为参考，开始执行相关chunk的搬迁操作。
要确保设置的时间范围内，所有的chunk能够搬迁完毕，否则会出现数据库搬迁过后，依旧不均衡的现象。
移除chunk搬迁时间窗口的命令如下：
use config
db.settings.update({ _id : "balancer" }, { $unset : { activeWindow : true } })
04 备份和balancer
MongoDB中，不要在备份的时候启用balancer，否则，备份的数据将会不一致。通常情况下，备份的时间窗口要和balancer的时间窗口错开，如果balancer没有设置时间窗口，则在备份的时候，关闭balancer
时间关系，就先到这里吧，其他内容后面再说
以上就是MongoDB balancer的使用详解的详细内容，更多关于MongoDB balancer的使用的资料请关注我们其它相关文章！
相关推荐
-
MongoDB诡异问题之sh.stopBalancer卡住的解决方法
背景 Part1:写在最前 我们在使用MongoDB sharding集群时,会使用如下命令来管理启停Balancer: >sh.stopBalancer() 停止Balancer >sh.startBalancer() 开启Balancer Part2:背景 开启balancer后,客户反馈前端应用写入缓慢,查询超时.因此我们尝试关闭balancer,来避免chunk迁移对集群性能带来的影响. 但是在调用sh.stopBalancer的时候,发现却停不下来,sh.stopBalancer会处
-
MongoDB balancer的使用详解
在MongoDB中,balancer(平衡器)是一个后台进程,它监控每个shard上的chunk数量,一旦chunk的数量差异超过了阈值,balancer会自动迁移数据块,从而保证每个分片上chunk数量的相对平衡. 整个搬迁的过程对于用户来说是透明的,但是搬迁的过程中会对用户产生一些影响. 01 balancer简介 从MongoDB3.4开始,balancer运行在config server的主节点上. 在3.4版本中,balancer进程活跃期间,config server的主节点通过修改
-
mongodb driver使用代码详解
MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的. 0 前言 全是干货的技术殿堂 文章收录在我的 GitHub 仓库,欢迎Star/fork: Java-Interview-Tutorial https://github.com/Wasabi1234/Java-Interview-Tutorial mongo
-
python连接mongodb集群方法详解
简单的测试用例 #!/usr/bin/python # -*- coding: UTF-8 -*- import time from pymongo import MongoClient # 连接单机 # single mongo # c = MongoClient(host="192.168.89.151", port=27017) # 连接集群 c = MongoClient('mongodb://192.168.89.151,192.168.89.152,192.168.89.1
-
java操作mongoDB查询的实例详解
java操作mongo查询的实例详解 前言: MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型.Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且
-
CentOS 7下MongoDB的安装配置详解
一.Mongodb安装 以下安装步骤以dp用户执行 1. 下载mongodb 3.4.2的安装包: "mongodb-linux-x86_64-rhel70-3.4.2.tgz",放在-/software下. 2. 解压该文件包: $ cd -/software $ tar -xf mongodb-linux-x86_64-rhel70-3.4.2.tgz 得到文件夹 mongodb-linux-x86_64-rhel70-3.4.2/,其中的bin文件夹包含Mongodb的所有可执行
-
.net Core连接MongoDB数据库的步骤详解
前言 前两天在学习MongoDB相关的知识,做了个小Demo,做的是省份下面有多少所学校,嗯,做的比较粗暴... 我们在MongoDB的官方文档中看到,MongoDb的2.4以上的For .Net的驱动是支持.Net Core 2.0的. 所以,在我们安装好了MangoDB后,就可以开始MangoDB的.Net之旅了. 方法如下: 连接MongoDB首先要通过Nuget添加一个MongoDB的包,下载此包 安装完毕后开始写代码了,创建一个省份实体,一个学校实体 using MongoDB.Bso
-
Python操作mongodb数据库的方法详解
本文实例讲述了Python操作mongodb数据库的方法.分享给大家供大家参考,具体如下: 安装pymongo 下载pymongo: https://pypi.python.org/packages/82/26/f45f95841de5164c48e2e03aff7f0702e22cef2336238d212d8f93e91ea8/pymongo-3.4.0.tar.gz#md5=aa77f88e51e281c9f328cea701bb6f3e 安装pymongo: 解压后,cmd进入pymon
-
分布式文档存储数据库之MongoDB备份与恢复的实践详解
前文我们聊了下mongodb的访问控制以及用户创建和角色分配,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13974656.html:今天我们来了解下mongodb的备份与恢复 为什么要备份? 备份的目的是对数据做冗余的一种方式,它能够让我们在某种情况下保证最少数据的丢失:之前我们对mongodb做副本集也是对数据做冗余,但是这种在副本集上做数据冗余仅仅是针对系统故障或服务异常等一些非人为的故障发生时,保证数据服务的可用性:它不能够避免人为的误操作:为了
-
MongoDB数据库索引用法详解
一.索引详讲 索引是什么,索引就好比一本书的目录,当我们想找某一章节的时候,通过书籍的目录可以很快的找到,所以适当的加入索引可以提高我们查询的数据的速度. 准备工作,向MongoDB中插入20000条记录,没条记录都有number和name > for(var i = 0 ; i<200000 ;i++){ ... db.books.insert({number:i,name:"book"+i}) ... } WriteResult({ "nInserted&qu
-
mongodb增删改查详解_动力节点Java学院整理
仔细观察"划线区域"的信息,发现db文件夹下有一个类似的"lock file"阻止了mongodb的开启,接下来我们要做的就是干掉它,之后,开启成功,关于mongodb的管理方式将在后续文章分享. 一: Insert操作 上一篇也说过,文档是采用"K-V"格式存储的,如果大家对JSON比较熟悉的话,我相信学mongodb是手到擒来,我们知道JSON里面Value 可能是"字符串",可能是"数组",又有可能是