MongoDB 主分片(primary shard)相关总结

01 主分片是什么?

分片集群中的每一个数据库都有一个主分片,这个主分片上保存了当前数据库中没有被分片的集合的数据,主分片(primary shard)和主节点(primary)之间没有任何关联。

主分片是由mongos选择出来的,选择的依据是每当创建新数据库的时候,mongos会从集群中选择包含数据最少的分片作为新数据库的主分片。具体的选择方式是:

选择listDatabase命令返回的totalSize字段作为选择的准则。如下:

mongos> db.adminCommand("listDatabases")
{
  "databases" : [
    {
      xxxx
    },
    {
      xxxx
    },
    {
      xxxx
    }
  ],
  "totalSize" : 2842624,
  "totalSizeMb" : 2,
  "ok" : 1,
  "operationTime" : Timestamp(1610982469, 1),
  "$clusterTime" : {
    "clusterTime" : Timestamp(1610982469, 1),
    "signature" : {
      "hash" : BinData(0,"knqdZrxpyGFdSi0gljxCQG4LJ9U="),
      "keyId" : NumberLong("6894922308364795934")
    }
  }
}

如果我们想手工的选择某个数据库的主分片,可以使用movePrimary命令,迁移主分片的过程会耗费一定的时间,在迁移完成之前,不应该对数据库或者对应的集合进行访问。迁移过程可能会影响整个集群的操作,所以这个命令一般不要主动去使用,如果必须使用,请务必考虑对网络负载的影响。

如果你部署的一个分片集群是由一个副本集修改配置而来的,那么副本集上原来的那些数据库的主分片将会继续留在原来的副本集上,之后创建的数据库才可以将主分片设置在其他分片上。

02 如何迁移主分片

下面我们演示如何使用movePrimary命令来迁移数据库的主分片。

首先,我们来看,当前new数据库的test集合的主分片在sharding_yeyz这个分片上。它就是new.test的主分片,如下:

mongos> sh.status()
--- Sharding Status ---
 shards:
  { "_id" : "sharding_yeyz", "host" : "sharding_yeyz/127.0.0.1:27018,127.0.0.1:27019,127.0.0.1:27020", "state" : 1, "tags" : [ "1_1000" ] }
  { "_id" : "sharding_yeyz1", "host" : "sharding_yeyz1/127.0.0.1:27024,127.0.0.1:27025,127.0.0.1:27026", "state" : 1, "tags" : [ "1000_", "1000_2000" ] }

 databases:
   ...
  { "_id" : "new", "primary" : "sharding_yeyz", "partitioned" : true, "version" : { "uuid" : UUID("68c70c64-f732-4478-8851-06dad4b94d6b"), "lastMod" : 1 } }
    new.test
      shard key: { "number" : 1 }
      unique: false
      balancing: true
      chunks:
        sharding_yeyz 3
        sharding_yeyz1 1
      { "number" : { "$minKey" : 1 } } -->> { "number" : 1 } on : sharding_yeyz Timestamp(2, 1)
      { "number" : 1 } -->> { "number" : 1000 } on : sharding_yeyz Timestamp(1, 2)
      { "number" : 1000 } -->> { "number" : 2000 } on : sharding_yeyz1 Timestamp(2, 0)
      { "number" : 2000 } -->> { "number" : { "$maxKey" : 1 } } on : sharding_yeyz Timestamp(1, 5)
       tag: 1_1000 { "number" : 1 } -->> { "number" : 1000 }
       tag: 1000_2000 { "number" : 1000 } -->> { "number" : 2000 }

接下来我们使用movePrimary命令,使用之前,我们需要知道它的执行过程:

1、首先在集群元数据中修改主分片信息

2、然后移动所有的没有分片的集合到指定的主分片中

**它只能在mongos上执行。

命令的用法是:

db.adminCommand( { movePrimary: <databaseName>, to: <newPrimaryShard> } )

举例:
db.adminCommand( { movePrimary : "new", to : "sharding_yeyz1" } )

我们执行完:

db.adminCommand( { movePrimary : "new", to : "sharding_yeyz1" } )

之后,结果如下:

mongos> sh.status()
--- Sharding Status ---
 shards:
  { "_id" : "sharding_yeyz", "host" : "sharding_yeyz/127.0.0.1:27018,127.0.0.1:27019,127.0.0.1:27020", "state" : 1, "tags" : [ "1_1000" ] }
  { "_id" : "sharding_yeyz1", "host" : "sharding_yeyz1/127.0.0.1:27024,127.0.0.1:27025,127.0.0.1:27026", "state" : 1, "tags" : [ "1000_", "1000_2000" ] }

 databases:
  { "_id" : "new", "primary" : "sharding_yeyz1", "partitioned" : true, "version" : { "uuid" : UUID("68c70c64-f732-4478-8851-06dad4b94d6b"), "lastMod" : 2 } }
    new.test
      shard key: { "number" : 1 }
      unique: false
      balancing: true
      chunks:
        sharding_yeyz 3
        sharding_yeyz1 1
      { "number" : { "$minKey" : 1 } } -->> { "number" : 1 } on : sharding_yeyz Timestamp(2, 1)
      { "number" : 1 } -->> { "number" : 1000 } on : sharding_yeyz Timestamp(1, 2)
      { "number" : 1000 } -->> { "number" : 2000 } on : sharding_yeyz1 Timestamp(2, 0)
      { "number" : 2000 } -->> { "number" : { "$maxKey" : 1 } } on : sharding_yeyz Timestamp(1, 5)
       tag: 1_1000 { "number" : 1 } -->> { "number" : 1000 }
       tag: 1000_2000 { "number" : 1000 } -->> { "number" : 2000 }

可以看到,主分片已经迁移完成了。

以上就是MongoDB 主分片(primary shard)相关总结的详细内容,更多关于MongoDB 主分片(primary shard)的资料请关注我们其它相关文章!

(0)

相关推荐

  • MongoDB分片详解

    分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用. 1.分片简介 分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能 强大的大型计算机就可以存储更多的数据,处理更大的负载. 使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连接,每个连接还是完全 独立的.应用程序管理不同服务器上的不同数据,存储查村都需要在正确的服务器上进行.这种方法可以很好的工作,但是也 难以维护,比如

  • mongodb分片技术_动力节点Java学院整理

    在mongodb里面存在另一种集群,就是分片技术,当数据量达到T级别的时候,我们的磁盘,内存就吃不消了,针对这样的场景我们该如何应对. 一:分片 mongodb采用将集合进行拆分,然后将拆分的数据均摊到几个片上的一种解决方案. 下面我对这张图解释一下: 人脸:代表客户端,客户端肯定说,你数据库分片不分片跟我没关系,我叫你干啥就干啥,没什么好商量的. mongos: 首先我们要了解"片键"的概念,也就是说拆分集合的依据是什么?按照什么键值进行拆分集合.... 好了,mongos就是一个路

  • Mongodb副本集和分片示例详解

    前言 因为之前没用过mongo,所以最近的开发踩了不少坑,现在熟练了不少. mongo在许多地方用起来还有许多不如意的地方,比如不知道如何加行锁,虽然mongo本身可以加写锁, 多写的时候保证原子性,但不能向mysql在事务中 select ... for update 这样加锁, 这样可以在应用代码中添加逻辑并且保证该对应行不被读取或修改. 还好的是Mongodb4.0是支持事务的(看网上貌似3.6就支持了,但得自己开启).刚好前端时间有些业务需求需要用到事务来保证数据的准确性,因为一个动作内

  • MongoDB分片集群部署详解

     一.环境说明 1.我们prod环境MongoDB的集群架构是做的分片集群的部署,但是目前我们没有分片,即所有数据都在一个分片上,后期如果数量大,需要分配,集群随时可以分片,对业务方透明 2.各个角色的部署情况 角色 IP 端口 复制集名称 mongos 172.21.244.101,172.21.244.102,172.21.244.94 27000 无 config server 172.21.244.101,172.21.244.102,172.21.244.94 27100 repl_c

  • Mongodb 删除添加分片与非分片表维护

    MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的. 一.如何移除分片 1.确认balancer已经开启 mongos> sh.getBalancerState() true 2.移除分片 注:在admin db下执行命令. mongos> use admin switched to db admin mon

  • 深入理解MongoDB分片的管理

    前言 在MongoDB(版本 3.2.9)中,分片集群(sharded cluster)是一种水平扩展数据库系统性能的方法,能够将数据集分布式存储在不同的分片(shard)上,每个分片只保存数据集的一部分,MongoDB保证各个分片之间不会有重复的数据,所有分片保存的数据之和就是完整的数据集.分片集群将数据集分布式存储,能够将负载分摊到多个分片上,每个分片只负责读写一部分数据,充分利用了各个shard的系统资源,提高数据库系统的吞吐量. 数据集被拆分成数据块(chunk),每个数据块包含多个do

  • mongodb3.4集群搭建实战之高可用的分片+副本集

    前言 最近因为工作的原因,在学习使用mongodb数据库,mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置服务器等. 相关概念 先来看一张图: 从图中可以看到有四个组件:mongos.config server.shard.replica set. mongos,数据库集群请求的入口,

  • 如何为MongoDB添加分片副本集

    背景是这样的:线上一个MongoDB集群保存了很多历史数据,这些历史数据是按照时间字段进行分片的,最近到了2021年,有些分片的截止时间要到了,为了能容纳更多的数据,需要在当前分片的基础上增加相应的分片. 线上环境中,每个分片本身也是一个3副本的副本集,所以添加的时候有些特定的流程需要注意,我再测试环境中简单测了一下这个过程,记录下来. 整个过程大概的流程是: 1.新建分片副本集 2.使用addShard命令将分片副本集添加到集群中 3.使用addShardTag命令为分片打标签 4.使用add

  • 分布式文档存储数据库之MongoDB分片集群的问题

    前文我们聊到了mongodb的副本集以及配置副本集,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13953598.html:今天我们来聊下mongodb的分片: 1.什么是分片?为什么要分片? 我们知道数据库服务器一般出现瓶颈是在磁盘io上,或者高并发网络io,又或者单台server的cpu.内存等等一系列原因:于是,为了解决这些瓶颈问题,我们就必须扩展服务器性能:通常扩展服务器有向上扩展和向外扩展:所谓向上扩展就是给服务器加更大的磁盘,使用更大更好的内

  • MongoDB分片键的选择和案例实例详解

    前言 分片键选择不好,应用程序就无法利用分片集群所提供的诸多优势.在这种情况下,插入和查询的性能都会显著下降.下决定时一定要严肃,一旦选择了分片键,就必须坚持选择,分片键是不可以修改的.要让分片键提供好的体验,部分源自了解怎样才算一个好的分片键. 本文将详细介绍关于MongoDB分片键的选择和案例,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. MongoDB版本:3.6 一.分片键类别 1.升序片键 升序片键例如:日期时间字段.自增字段. 2.随机分发片键 随机分发片键例如:

  • 详解MongoDB4.0构建分布式分片群集

    MongoDB分片简述 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的 CPU 耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘 IO 上. MongoDB 分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作.分片技术可以满足 MongoDB 数据量大量增长的需求,当一台 MongoDB 服务器不足以存储海量数据或不足以提供可接受的读写吞吐量时,我们就可以通过在多台服务器上分割数据,使得数据库系统能存储和处理更多的数

  • MongoDB分片在部署与维护管理中常见的事项总结大全

    前言 分片(sharding)是MongoDB将大型集合分割到不同服务器(或者说集群)上所采用的方法,主要为应对高吞吐量与大数据量的应用场景提供了方法. 将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载.基本思想就是将集合切成小块,这些块分散到若干片里,每个片只负责总数据的一部分,最后通过一个均衡器来对各个分片进行均衡(数据迁移).通过一个名为mongos的路由进程进行操作,mongos知道数据和片的对应关系(通过配置服务器).大部分使用场景都是解决磁盘空间的

  • MongoDB搭建高可用集群的完整步骤(3个分片+3个副本)

    配置脚本以及目录下载:点我下载 一.规划好端口ip 架构图如下,任意抽取每个副本集中的一个分片(非仲裁节点)可以组成一份完整的数据. 1. 第一个副本集rs1 share1 10.0.0.7:30011:/data/share_rs/share_rs1/share1/data/ share2 10.0.0.7:40011:/data/share_rs/share_rs1/share2/data/ share3 10.0.0.7:50011:/data/share_rs/share_rs1/sha

随机推荐