MongoDB搭建高可用集群的完整步骤(3个分片+3个副本)

配置脚本以及目录下载:点我下载

一、规划好端口ip

架构图如下,任意抽取每个副本集中的一个分片(非仲裁节点)可以组成一份完整的数据。

1. 第一个副本集rs1

share1 10.0.0.7:30011:/data/share_rs/share_rs1/share1/data/
share2 10.0.0.7:40011:/data/share_rs/share_rs1/share2/data/
share3 10.0.0.7:50011:/data/share_rs/share_rs1/share3/data/

2. 第二个副本集rs2

share1 10.0.0.7:30012:/data/share_rs/share_rs2/share1/data/
share2 10.0.0.7:40012:/data/share_rs/share_rs2/share2/data/
share3 10.0.0.7:50012:/data/share_rs/share_rs2/share3/data/

3. 第三个副本集rs3

share1 10.0.0.7:30013:/data/share_rs/share_rs3/share1/data/
share2 10.0.0.7:40013:/data/share_rs/share_rs3/share2/data/
share3 10.0.0.7:50013:/data/share_rs/share_rs3/share3/data/

4.config server

config1 10.0.0.7:30002:/data/share_rs/config/config1/data/
config2 10.0.0.7:30002:/data/share_rs/config/config2/data/
config3 10.0.0.7:30002:/data/share_rs/config/config3/data/

5. mongos

mongos1 10.0.0.7:30001:/data/share_rs/mongos/mongos1/data/
mongos2 10.0.0.7:30001:/data/share_rs/mongos/mongos2/data/
mongos3 10.0.0.7:30001:/data/share_rs/mongos/mongos3/data/

二、创建相应的目录

mkdir -p /data/share_rs/{share_rs1,share_rs2,share_rs3}/{share1,share2,share3}/{data,log}
mkdir -p /data/share_rs/mongos/{mongos1,mongos2,mongos3}/{data,log}
mkdir -p /data/share_rs/config/{config1,config2,config3}/{data,log}

三、配置mongs和config的配置文件(其他副本参考修改端口以及ip)

[mongo@mongo config1]$ cat mongo.conf
dbpath=/data/share_rs/config/config1/data/
logpath=/data/share_rs/config/config1/log/mongo.log
logappend=true
port=30002
fork=true
rest=true
httpinterface=true
configsvr=true

[mongo@mongo mongs1]$ cat mongo.conf
logpath=/data/share_rs/mongos/mongos1/log/mongo.log
logappend=true
port=30001
fork=true
configdb=10.0.0.7:30002,10.0.0.7:40002,10.0.0.7:50002
chunkSize=1

四、依次启动三个副本上的config服务器以及mongs服务器

mongod -f /data/share_rs/config/config1/mongo.conf
mongod -f /data/share_rs/config/config2/mongo.conf
mongod -f /data/share_rs/config/config3/mongo.conf

mongos -f /data/share_rs/mongos/mongos1/mongo.conf
mongos -f /data/share_rs/mongos/mongos2/mongo.conf
mongos -f /data/share_rs/mongos/mongos3/mongo.conf

五、配置mong分片的的配置文件(其他副本参考修改端口以及ip),同一个分片的副本集名称一样,即replSet。

第一个副本集的一个分片
[mongo@mongo share_rs1]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs1/share1/data
logpath=/data/share_rs/share_rs1/share1/log/mongo.log
logappend=true
port=30011
fork=true
rest=true
httpinterface=true
replSet=rs1
shardsvr=true

第二个副本集的一个分片
[mongo@mongo share_rs2]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs2/share1/data
logpath=/data/share_rs/share_rs2/share1/log/mongo.log
logappend=true
port=30012
fork=true
rest=true
httpinterface=true
replSet=rs2
shardsvr=true

第三个副本集的一个分片
[mongo@mongo share_rs1]$ cat share1/mongo.conf
dbpath=/data/share_rs/share_rs3/share1/data
logpath=/data/share_rs/share_rs3/share1/log/mongo.log
logappend=true
port=30013
fork=true
rest=true
httpinterface=true
replSet=rs3
shardsvr=true

六、启动各个分片以及相应的副本

mongod -f /data/share_rs/share_rs1/share1/mongo.conf
mongod -f /data/share_rs/share_rs1/share2/mongo.conf
mongod -f /data/share_rs/share_rs1/share3/mongo.conf
mongod -f /data/share_rs/share_rs2/share1/mongo.conf
mongod -f /data/share_rs/share_rs2/share2/mongo.conf
mongod -f /data/share_rs/share_rs2/share3/mongo.conf
mongod -f /data/share_rs/share_rs3/share1/mongo.conf
mongod -f /data/share_rs/share_rs3/share2/mongo.conf
mongod -f /data/share_rs/share_rs3/share3/mongo.conf

[mongo@mongo share_rs]$ ps -ef | grep mongo | grep share | grep -v grep
mongo  2480  1 0 12:50 ?  00:00:03 mongod -f /data/share_rs/share_rs1/share1/mongo.conf
mongo  2506  1 0 12:50 ?  00:00:03 mongod -f /data/share_rs/share_rs1/share2/mongo.conf
mongo  2532  1 0 12:50 ?  00:00:02 mongod -f /data/share_rs/share_rs1/share3/mongo.conf
mongo  2558  1 0 12:50 ?  00:00:03 mongod -f /data/share_rs/share_rs2/share1/mongo.conf
mongo  2584  1 0 12:50 ?  00:00:03 mongod -f /data/share_rs/share_rs2/share2/mongo.conf
mongo  2610  1 0 12:50 ?  00:00:02 mongod -f /data/share_rs/share_rs2/share3/mongo.conf
mongo  2636  1 0 12:50 ?  00:00:01 mongod -f /data/share_rs/share_rs3/share1/mongo.conf
mongo  2662  1 0 12:50 ?  00:00:01 mongod -f /data/share_rs/share_rs3/share2/mongo.conf
mongo  2688  1 0 12:50 ?  00:00:01 mongod -f /data/share_rs/share_rs3/share3/mongo.conf
mongo  3469  1 0 13:17 ?  00:00:00 mongod -f /data/share_rs/config/config1/mongo.conf
mongo  3485  1 0 13:17 ?  00:00:00 mongod -f /data/share_rs/config/config2/mongo.conf
mongo  3513  1 0 13:17 ?  00:00:00 mongod -f /data/share_rs/config/config3/mongo.conf
mongo  3535  1 0 13:18 ?  00:00:00 mongos -f /data/share_rs/mongos/mongos1/mongo.conf
mongo  3629  1 0 13:22 ?  00:00:00 mongos -f /data/share_rs/mongos/mongos2/mongo.conf
mongo  3678  1 0 13:22 ?  00:00:00 mongos -f /data/share_rs/mongos/mongos3/mongo.conf

七、设置副本集

1.登录第一个副本的一个分片,为其设置副本集
mongo 127.0.0.1:30011/admin
config = { _id:"rs1", members:[
      {_id:0,host:"10.0.0.7:30011"},
      {_id:1,host:"10.0.0.7:40011"},
      {_id:2,host:"10.0.0.7:50011",arbiterOnly:true}
    ]
   }

-- >; 注意:这里id rs1 需要与副本集中的名称一样即replSet的值
rs.initiate(config)
{ "ok" : 1 } -- >; 提示这个说明初始化成功

2.登录第二个副本的一个分片,为其设置副本集

mongo 127.0.0.1:30012/admin
config = { _id:"rs2", members:[
      {_id:0,host:"10.0.0.7:30012"},
      {_id:1,host:"10.0.0.7:40012"},
      {_id:2,host:"10.0.0.7:50012",arbiterOnly:true}
    ]
   }
rs.initiate(config)
{ "ok" : 1 } -- >; 提示这个说明初始化成功

3.登录第三个副本的一个分片,为其设置副本集

mongo 127.0.0.1:30013/admin
config = { _id:"rs3", members:[
      {_id:0,host:"10.0.0.7:30013"},
      {_id:1,host:"10.0.0.7:40013"},
      {_id:2,host:"10.0.0.7:50013",arbiterOnly:true}
    ]
   }
rs.initiate(config)
{ "ok" : 1 } -- >; 提示这个说明初始化成功

八、目前前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接mongos 路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。

连接到第一个mongos上
mongo 10.0.0.7:30001/admin
db.runCommand({addshard:"rs1/10.0.0.7:30011,10.0.0.7:40011,10.0.0.7:50011",allowLocal:true});
db.runCommand({addshard:"rs2/10.0.0.7:30012,10.0.0.7:40012,10.0.0.7:50012"});
db.runCommand({addshard:"rs3/10.0.0.7:30013,10.0.0.7:40013,10.0.0.7:50013"});

-- >; 将第一个分片的所有副本全部加入
-- >; 如里shard是单台服务器,用 db.runCommand( { addshard : "[: ]" } )这样的命令加入
-- >; 如果shard是副本集,用db.runCommand( { addshard : "replicaSetName/[:port][,serverhostname2[:port],…]" });这样的格式表示.

mongos>; sh.status()
--- Sharding Status ---
 sharding version: {
  "_id" : 1,
  "minCompatibleVersion" : 5,
  "currentVersion" : 6,
  "clusterId" : ObjectId("57f33f4d35d9c494714adfa7")
}
 shards:
  { "_id" : "rs1", "host" : "rs1/10.0.0.7:30011,10.0.0.7:40011" }
  { "_id" : "rs2", "host" : "rs2/10.0.0.7:30012,10.0.0.7:40012" }
  { "_id" : "rs3", "host" : "rs3/10.0.0.7:30013,10.0.0.7:40013" }
 active mongoses:
  "3.2.7" : 3
 balancer:
  Currently enabled: yes
  Currently running: no
  Failed balancer rounds in last 5 attempts: 0
  Migration Results for the last 24 hours:
    No recent migrations
 databases:

九、将集合进行分片。

db.runCommand({enablesharding:"testcol"});
-- >; 指定testdb分片生效

db.runCommand({shardcollection: "testcol.testdoc",key : {id: 1} } )
-- >; 指定数据库里需要分片的集合和片键

-->; 插入测试数据
for (var i = 1; i <;= 100000; i++){ db.testdoc.save({id:i,"name":"harvey"})}; -- >; 查看该集合的状态
db.testcol.stats();

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。

(0)

相关推荐

  • MongoDB分片集群部署详解

     一.环境说明 1.我们prod环境MongoDB的集群架构是做的分片集群的部署,但是目前我们没有分片,即所有数据都在一个分片上,后期如果数量大,需要分配,集群随时可以分片,对业务方透明 2.各个角色的部署情况 角色 IP 端口 复制集名称 mongos 172.21.244.101,172.21.244.102,172.21.244.94 27000 无 config server 172.21.244.101,172.21.244.102,172.21.244.94 27100 repl_c

  • MongoDB的分片集群基本配置教程

    为何要分片 1.减少单机请求数,降低单机负载,提高总负载 2.减少单机的存储空间,提高总存空间. 常见的mongodb sharding 服务器架构 要构建一个 MongoDB Sharding Cluster,需要三种角色: 1.Shard Server 即存储实际数据的分片,每个Shard可以是一个mongod实例,也可以是一组mongod实例构成的Replication Set.为了实现每个Shard内部的auto-failover(自动故障切换),MongoDB官方建议每个Shard为一

  • 详解Java 连接MongoDB集群的几种方式

    先决条件 先运行mongodb肯定是必须的,然后导入以下包: import com.mongodb.MongoClient; import com.mongodb.MongoClientURI; import com.mongodb.ServerAddress; import com.mongodb.MongoCredential; import com.mongodb.MongoClientOptions; MongoClient MongoClient()实例表示到数据库的连接池; 你将只需

  • 详解MongoDB中用sharding将副本集分配至服务器集群的方法

    关于副本集 副本集是一种在多台机器同步数据的进程. 副本集体提供了数据冗余,扩展了数据可用性.在多台服务器保存数据可以避免因为一台服务器导致的数据丢失. 也可以从硬件故障或服务中断解脱出来,利用额外的数据副本,可以从一台机器致力于灾难恢复或者备份. 在一些场景,可以使用副本集来扩展读性能.客户端有能力发送读写操作给不同的服务器. 也可以在不同的数据中心获取不同的副本来扩展分布式应用的能力. mongodb副本集是一组拥有相同数据的mongodb实例,主mongodb接受所有的写操作,所有的其他实

  • mongodb3.4集群搭建实战之高可用的分片+副本集

    前言 最近因为工作的原因,在学习使用mongodb数据库,mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置服务器等. 相关概念 先来看一张图: 从图中可以看到有四个组件:mongos.config server.shard.replica set. mongos,数据库集群请求的入口,

  • mongodb 集群重构和释放磁盘空间实例详解

    MongoDB集群重构,释放磁盘空间 由于mongodb删除了一部分数据后,不会回收相应的磁盘空间,所以这里通过重建数据目录的方式释放磁盘空间. 一 实验环境 配置了一个副本集,该副本集由以下三个节点组成: 10.192.203.201:27017 PRIMARY 10.192.203.202:27017 SECONDARY 10.192.203.202:10001  ARBITER 二 实验步骤 2.1 模拟环境 use dba; for(var i=0;i<1000000;i++)db.c.

  • MongoDB学习以及集群搭建的实践全纪录

    前言 最近一些变动,有一个老项目交由我们组负责维护,碰到这样的事情我的内心是崩溃的,但还得强颜欢笑,拍着胸脯说没问题.更悲哀的是,该项目中还使用了mongo,还是自己搭建的,没有交由DBA统一管理,无奈,只能赶鸭子上架,自己学习mongo了. 为什么使用集群架构? 主从:故障转移:无法实现,如果主机宕机,需要关闭slave并且按照master模式启动.无法解决单点故障 无法autofailover 不可以自动主从的切换 为了解决主从的问题,MongoDB3.0之后出现副本集,副本集解决了故障转移

  • MongoDB搭建高可用集群的完整步骤(3个分片+3个副本)

    配置脚本以及目录下载:点我下载 一.规划好端口ip 架构图如下,任意抽取每个副本集中的一个分片(非仲裁节点)可以组成一份完整的数据. 1. 第一个副本集rs1 share1 10.0.0.7:30011:/data/share_rs/share_rs1/share1/data/ share2 10.0.0.7:40011:/data/share_rs/share_rs1/share2/data/ share3 10.0.0.7:50011:/data/share_rs/share_rs1/sha

  • nginx搭建高可用集群的实现方法

    目录 Keepalived+Nginx 高可用集群(主从模式) Keepalived+Nginx 高可用集群(主从模式) 集群架构图 1.准备两台装有Nginx虚拟机 2.都需安装Keepalived yum install keepalived -y 查看是否安装成功 rpm -q -a keepalived 安装之后,在 etc 里面生成目录 keepalived,有文件 keepalived.conf 3.完成高可用配置(主从配置) 修改/etc/keepalived/keepalivec

  • Springcloud eureka搭建高可用集群过程图解

    一 前言 eureka作为注册中心,其充当着服务注册与发现功能,加载负载均衡:若在项目运行中eureka挂了,那么整个服务整体都会暂停,所以为服务运行的安全性,有必要搭建eureka集群:当其中一个eureka节点挂了,我们还有另外的节点可用:本篇文章的核心是如何在idea上运行eureka集群,和项目部署:需注意的jdk版本是1.8,高于jdk1.8打包部署会出问题,需要引入其他依赖: 二 eureka-server配置文件改造 之前的配置文件如下,这是单个eureka-server的配置,并

  • CentOS下RabbitMq高可用集群环境搭建教程

    CentOS下RabbitMq高可用集群环境搭建教程分享给大家. 准备工作 1.准备两台或多台安装有rabbitmq-server服务的服务器 我这里准备了两台,分别如下: 192.168.40.130 rabbitmq01 192.168.40.131 rabbitmq02 2.确保防火墙是关闭的3,官网参考资料 http://www.rabbitmq.com/clustering.html hosts映射 修改每台服务上的hosts文件(路径:/etc/hosts),设置成如下: 192.1

  • 基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解

    一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自: https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-hi

  • 基于mysql+mycat搭建稳定高可用集群负载均衡主备复制读写分离操作

    数据库性能优化普遍采用集群方式,oracle集群软硬件投入昂贵,今天花了一天时间搭建基于mysql的集群环境. 主要思路 简单说,实现mysql主备复制-->利用mycat实现负载均衡. 比较了常用的读写分离方式,推荐mycat,社区活跃,性能稳定. 测试环境 MYSQL版本:Server version: 5.5.53,到官网可以下载WINDWOS安装包. 注意:确保mysql版本为5.5以后,以前版本主备同步配置方式不同. linux实现思路类似,修改my.cnf即可. A主mysql.19

  • Redis5之后版本的高可用集群搭建的实现

    一.安装redis 1.安装gcc yum install gcc 2.下载redis-5.0.8.tar.gz 3.把下载好的redis-5.0.8.tar.gz放在/gyu/software文件夹下,并解压 > tar xzf redis-5.0.8.tar.gz > cd redis-5.0.8 4.进入到解压好的redis-5.0.8目录下,进行编译与安装 > make & make install 5.启动并指定配置文件 > src/redis-server re

  • centos环境下nginx高可用集群的搭建指南

    目录 1.概述 2.CentOS中nginx集群搭建 2.1 集群架构图 2.2 Keepalived 2.3 集群搭建准备 2.4 集群搭建 2.4.1 安装keepalived 2.4.2 配置keepalived.conf 2.4.3 编写nginx监测脚本 2.4.4 启动keepalived 2.4.5 启动nginx 2.4.6 测试 3.小结 4.参考文献 总结 1.概述 nginx单机部署时,一旦宕机就会导致整个服务的不可用,导致雪崩式效应.集群式部署是解决单点式雪崩效应的有效方

  • 运用.net core中实例讲解RabbitMQ高可用集群构建

    目录 一.集群架构简介 二.普通集群搭建 2.1 各个节点分别安装RabbitMQ 2.2 把节点加入集群 2.3 代码演示普通集群的问题 三.镜像集群 四.HAProxy环境搭建. 五.KeepAlived 环境搭建 一.集群架构简介 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的.RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节点都是对等的,每个节点共享所有的用户,虚拟主机,队列,交换器,绑

  • MySQL之高可用集群部署及故障切换实现

    一.MHA 1.概念 2.MHA 的组成 3.MHA 的特点 二.搭建MySQL+MHA 思路和准备工作 1.MHA架构 数据库安装 一主两从 MHA搭建 2.故障模拟 模拟主库失效 备选主库成为主库 原故障主库恢复重新加入到MHA成为从库 3.准备4台安装MySQL虚拟机 MHA高可用集群相关软件包 MHAmanager IP:192.168.221.30 MySQL1 IP:192.168.221.20 MySQL2 IP:192.168.221.100 MySQL3 IP: 192.168

随机推荐