关于CentOS 8 搭建MongoDB4.4分片集群的问题

2024-10-22 20:19:52

一，简介

1.分片

在MongoDB里面存在另一种集群，就是分片技术，可以满足MongoDB数据量大量增长的需求。
在MongoDB存储海量数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。

2.为什么使用分片

复制所有的写入操作到主节点
延迟的敏感数据会在主节点查询
单个副本集限制在12个节点
当请求量巨大时会出现内存不足
本地磁盘不足
垂直扩展价格昂贵

3.分片原理概述

分片就是把数据分成块，再把块存储到不同的服务器上，MongoDB的分片是自动分片的，当用户发送读写数据请求的时候，先经过mongos这个路由层，mongos路由层去配置服务器请求分片的信息，再来判断这个请求应该去哪一台服务器上读写数据。

二，准备环境

操作系统：CentOS Linux release 8.2.2004 (Core)
MongoDB版本：v4.4.10
IP：10.0.0.56 实例：mongos（30000） config（27017） shard1主节点（40001） shard2仲裁节点（40002） shard3副节点（40003）
IP：10.0.0.57 实例：mongos（30000） config（27017） shard1副节点（40001） shard2主节点（40002） shard3仲裁节点（40003）
IP：10.0.0.58 实例：mongos（30000） config（27017） shard1仲裁节点（40001） shard3副节点（40002） shard3主节点（40003）

三，集群配置部署

1.创建相应目录（三台服务器执行相同操作）

mkdir -p /mongo/{data,logs,apps,run}
mkdir -p /mongo/data/shard{1,2,3}
mkdir -p /mongo/data/config
mkdir -p /mongo/apps/conf

2.安装MongoDB修改创建配置文件（三台执行相同操作）
安装教程
安装可以通过下载MongoDB安装包，再进行配置环境变量。这里是直接配置yum源，通过yum源安装的MongoDB，后面直接执行mongod加所需配置文件路径运行即可。

（1）mongo-config配置文件

vim /mongo/apps/conf/mongo-config.yml

systemLog:
  destination: file
#日志路径
  path: "/mongo/logs/mongo-config.log"
  logAppend: true
storage:
  journal:
    enabled: true
#数据存储路径
  dbPath: "/mongo/data/config"
  engine: wiredTiger
  wiredTiger:
    engineConfig:
         cacheSizeGB: 12
processManagement:
  fork: true
  pidFilePath: "/mongo/run/mongo-config.pid"
net:
#这里ip可以设置为对应主机ip
  bindIp: 0.0.0.0
#端口
  port: 27017
setParameter:
  enableLocalhostAuthBypass: true
replication:
#复制集名称
  replSetName: "mgconfig"
sharding:
#作为配置服务
  clusterRole: configsvr

（2）mongo-shard1配置文件

vim /mongo/apps/conf/mongo-shard1.yml

systemLog:
  destination: file
  path: "/mongo/logs/mongo-shard1.log"
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: "/mongo/data/shard1"
processManagement:
  fork: true
  pidFilePath: "/mongo/run/mongo-shard1.pid"
net:
  bindIp: 0.0.0.0
  #注意修改端口
  port: 40001
setParameter:
  enableLocalhostAuthBypass: true
replication:
  #复制集名称
  replSetName: "shard1"
sharding:
  #作为分片服务
  clusterRole: shardsvr

（3）mongo-shard2配置文件

vim /mongo/apps/conf/mongo-shard2.yml

systemLog:
  destination: file
  path: "/mongo/logs/mongo-shard2.log"
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: "/mongo/data/shard2"
processManagement:
  fork: true
  pidFilePath: "/mongo/run/mongo-shard2.pid"
net:
  bindIp: 0.0.0.0
  #注意修改端口
  port: 40002
setParameter:
  enableLocalhostAuthBypass: true
replication:
  #复制集名称
  replSetName: "shard2"
sharding:
  #作为分片服务
  clusterRole: shardsvr

（4）mongo-shard3配置文件

vim /mongo/apps/conf/mongo-shard3.yml

systemLog:
  destination: file
  path: "/mongo/logs/mongo-shard3.log"
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: "/mongo/data/shard3"
processManagement:
  fork: true
  pidFilePath: "/mongo/run/mongo-shard3.pid"
net:
  bindIp: 0.0.0.0
  #注意修改端口
  port: 40003
setParameter:
  enableLocalhostAuthBypass: true
replication:
  #复制集名称
  replSetName: "shard3"
sharding:
  #作为分片服务
  clusterRole: shardsvr

（5）mongo-route配置文件

vim /mongo/apps/conf/mongo-route.yml

systemLog:
  destination: file
  #注意修改路径
  path: "/mongo/logs/mongo-route.log"
  logAppend: true
processManagement:
  fork: true
  pidFilePath: "/mongo/run/mongo-route.pid"
net:
  bindIp: 0.0.0.0
  #注意修改端口
  port: 30000
setParameter:
  enableLocalhostAuthBypass: true
replication:
  localPingThresholdMs: 15
sharding:
  #关联配置服务
  configDB: mgconfig/10.0.0.56:27017,10.0.0.57:27017,10.0.0.58:27018

3.启动mongo-config服务（三台服务器执行相同操作）

#关闭之前yum安装的MongoDB
systemctl stop mongod

cd /mongo/apps/conf/
mongod --config mongo-config.yml

#查看端口27017是否启动
netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1129/sshd
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1131/cupsd
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      2514/sshd: root@pts
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN      4384/sshd: root@pts
tcp        0      0 0.0.0.0:27017           0.0.0.0:*               LISTEN      4905/mongod
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp6       0      0 :::22                   :::*                    LISTEN      1129/sshd
tcp6       0      0 ::1:631                 :::*                    LISTEN      1131/cupsd
tcp6       0      0 ::1:6010                :::*                    LISTEN      2514/sshd: root@pts
tcp6       0      0 ::1:6011                :::*                    LISTEN      4384/sshd: root@pts
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd

4.连接一台实例，创建初始化复制集

#连接mongo
mongo 10.0.0.56:27017

#配置初始化复制集，这里的mgconfig要和配置文件里的replSet的名称一致
config={_id:"mgconfig",members:[
  {_id:0,host:"10.0.0.56:27017"},
  {_id:1,host:"10.0.0.57:27017"},
  {_id:2,host:"10.0.0.58:27017"},
]}

rs.initiate(config)
#ok返回1便是初始化成功
{
	"ok" : 1,
	"$gleStats" : {
		"lastOpTime" : Timestamp(1634710950, 1),
		"electionId" : ObjectId("000000000000000000000000")
	},
	"lastCommittedOpTime" : Timestamp(0, 0)
}

#检查状态
rs.status()

{
	"set" : "mgconfig",
	"date" : ISODate("2021-10-20T06:24:24.277Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"configsvr" : true,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"votingMembersCount" : 3,
	"writableVotingMembersCount" : 3,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1634711063, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2021-10-20T06:24:23.811Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1634711063, 1),
			"t" : NumberLong(1)
		},
		"readConcernMajorityWallTime" : ISODate("2021-10-20T06:24:23.811Z"),
		"appliedOpTime" : {
			"ts" : Timestamp(1634711063, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1634711063, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2021-10-20T06:24:23.811Z"),
		"lastDurableWallTime" : ISODate("2021-10-20T06:24:23.811Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1634711021, 1),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2021-10-20T06:22:41.335Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(0, 0),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1634710950, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 1,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2021-10-20T06:22:41.509Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2021-10-20T06:22:42.322Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "10.0.0.56:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 530,
			"optime" : {
				"ts" : Timestamp(1634711063, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-10-20T06:24:23Z"),
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"electionTime" : Timestamp(1634710961, 1),
			"electionDate" : ISODate("2021-10-20T06:22:41Z"),
			"configVersion" : 1,
			"configTerm" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
			"_id" : 1,
			"name" : "10.0.0.57:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 113,
			"optime" : {
				"ts" : Timestamp(1634711061, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1634711061, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-10-20T06:24:21Z"),
			"optimeDurableDate" : ISODate("2021-10-20T06:24:21Z"),
			"lastHeartbeat" : ISODate("2021-10-20T06:24:22.487Z"),
			"lastHeartbeatRecv" : ISODate("2021-10-20T06:24:22.906Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "10.0.0.56:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1,
			"configTerm" : 1
		},
		{
			"_id" : 2,
			"name" : "10.0.0.58:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 113,
			"optime" : {
				"ts" : Timestamp(1634711062, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1634711062, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2021-10-20T06:24:22Z"),
			"optimeDurableDate" : ISODate("2021-10-20T06:24:22Z"),
			"lastHeartbeat" : ISODate("2021-10-20T06:24:23.495Z"),
			"lastHeartbeatRecv" : ISODate("2021-10-20T06:24:22.514Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "10.0.0.56:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1,
			"configTerm" : 1
		}
	],
	"ok" : 1,
	"$gleStats" : {
		"lastOpTime" : Timestamp(1634710950, 1),
		"electionId" : ObjectId("7fffffff0000000000000001")
	},
	"lastCommittedOpTime" : Timestamp(1634711063, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1634711063, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1634711063, 1)
}

5.配置部署shard1分片集群，启动shard1实例（三台执行同样操作）

cd /mongo/apps/conf
mongod --config mongo-shard1.yml

#查看端口40001是否启动
netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:40001           0.0.0.0:*               LISTEN      5742/mongod
tcp        0      0 0.0.0.0:27017           0.0.0.0:*               LISTEN      5443/mongod
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1139/sshd
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1133/cupsd
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      2490/sshd: root@pts
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN      5189/sshd: root@pts
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::22                   :::*                    LISTEN      1139/sshd
tcp6       0      0 ::1:631                 :::*                    LISTEN      1133/cupsd
tcp6       0      0 ::1:6010                :::*                    LISTEN      2490/sshd: root@pts
tcp6       0      0 ::1:6011                :::*                    LISTEN      5189/sshd: root@pts

6.连接一台实例，创建复制集

#连接mongo
mongo 10.0.0.56:40001

#配置初始化复制集
config={_id:"shard1",members:[
  {_id:0,host:"10.0.0.56:40001",priority:2},
  {_id:1,host:"10.0.0.57:40001",priority:1},
  {_id:2,host:"10.0.0.58:40001",arbiterOnly:true},
]}

rs.initiate(config)
#检查状态
rs.status()

7.配置部署shard2分片集群，启动shard1实例（三台执行同样操作）

cd /mongo/apps/conf
mongod --config mongo-shard2.yml

#查看端口40002是否启动
netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:40001           0.0.0.0:*               LISTEN      5742/mongod
tcp        0      0 0.0.0.0:40002           0.0.0.0:*               LISTEN      5982/mongod
tcp        0      0 0.0.0.0:27017           0.0.0.0:*               LISTEN      5443/mongod
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1139/sshd
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1133/cupsd
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      2490/sshd: root@pts
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN      5189/sshd: root@pts
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::22                   :::*                    LISTEN      1139/sshd
tcp6       0      0 ::1:631                 :::*                    LISTEN      1133/cupsd
tcp6       0      0 ::1:6010                :::*                    LISTEN      2490/sshd: root@pts
tcp6       0      0 ::1:6011                :::*                    LISTEN      5189/sshd: root@pts

8.连接第二个节点创建复制集
因为我们规划的shard2的主节点是10.0.0.57:40002，仲裁节点不能写数据，所以要连接10.0.0.57主机

#连接mongo
mongo 10.0.0.57:40002

#创建初始化复制集
config={_id:"shard2",members:[
  {_id:0,host:"10.0.0.56:40002",arbiterOnly:true},
  {_id:1,host:"10.0.0.57:40002",priority:2},
  {_id:2,host:"10.0.0.58:40002",priority:1},
]}

rs.initiate(config)
#查看状态
rs.status()

9.配置部署shard3分片集群，启动shard3实例（三台执行同样操作）

cd /mongo/apps/conf/
mongod --config mongo-shard3.yml

##查看端口40003是否启动
netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:40001           0.0.0.0:*               LISTEN      5742/mongod
tcp        0      0 0.0.0.0:40002           0.0.0.0:*               LISTEN      5982/mongod
tcp        0      0 0.0.0.0:40003           0.0.0.0:*               LISTEN      6454/mongod
tcp        0      0 0.0.0.0:27017           0.0.0.0:*               LISTEN      5443/mongod
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1139/sshd
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1133/cupsd
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      2490/sshd: root@pts
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN      5189/sshd: root@pts
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::22                   :::*                    LISTEN      1139/sshd
tcp6       0      0 ::1:631                 :::*                    LISTEN      1133/cupsd
tcp6       0      0 ::1:6010                :::*                    LISTEN      2490/sshd: root@pts
tcp6       0      0 ::1:6011                :::*                    LISTEN      5189/sshd: root@pts

10.连接第三个节点（10.0.0.58:40003）创建复制集

#连接mongo
mongo 10.0.0.58:40003

#创建初始化复制集
config={_id:"shard3",members:[
  {_id:0,host:"10.0.0.56:40003",priority:1},
  {_id:1,host:"10.0.0.57:40003",arbiterOnly:true},
  {_id:2,host:"10.0.0.58:40003",priority:2},
]}

rs.initiate(config)
#查看状态
rs.status()

11.配置部署路由节点

#路由节点启动登录用mongos
mongos --config mongo-route.yml

#连接添加分片到集群中
mongo 10.0.0.56:30000

sh.addShard("shard1/10.0.0.56:40001,10.0.0.57:40001,10.0.0.58:40001")
sh.addShard("shard2/10.0.0.56:40002,10.0.0.57:40002,10.0.0.58:40002")
sh.addShard("shard3/10.0.0.56:40003,10.0.0.57:40003,10.0.0.58:40003")

#查看分片状态
sh.status()

四，测试服务器分片功能

#查看所有库
mongos> show dbs
admin   0.000GB
config  0.003GB
#进入config
use config
#这里默认的chunk大小是64M，db.settings.find()可以看到这个值，这里为了测试看的清楚，把chunk调整为1M
db.settings.save({"_id":"chunksize","value":1})

模拟写入数据

#在tydb库的tyuser表中循环写入6万条数据
mongos> use tydb
mongos> show tables
mongos> for(i=1;i<=60000;i++){db.tyuser.insert({"id":i,"name":"ty"+i})}

启用数据库分片

mongos> sh.enableSharding("tydb")
#ok返回1
{
	"ok" : 1,
	"operationTime" : Timestamp(1634716737, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1634716737, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

启用表分片

mongos> sh.shardCollection(”tydb.tyuser",{"id":1})

查看分片情况

mongos> sh.status()

查看开启关闭平衡器

#开启
mongos> sh.startBalancer() #或者sh.startBalancer(true)
#关闭
mongos> sh.stopBalancer() #或者sh.stopBalancer(false)
#查看是否关闭
mongos> sh.getBalancerState() #返回flase表示关闭

到此这篇关于CentOS 8 搭建MongoDB4.4分片集群的文章就介绍到这了,更多相关MongoDB分片集群内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

mongodb3.4集群搭建实战之高可用的分片+副本集

前言最近因为工作的原因,在学习使用mongodb数据库,mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置服务器等. 相关概念先来看一张图: 从图中可以看到有四个组件:mongos.config server.shard.replica set. mongos,数据库集群请求的入口,
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）

配置脚本以及目录下载:点我下载一.规划好端口ip 架构图如下,任意抽取每个副本集中的一个分片(非仲裁节点)可以组成一份完整的数据. 1. 第一个副本集rs1 share1 10.0.0.7:30011:/data/share_rs/share_rs1/share1/data/ share2 10.0.0.7:40011:/data/share_rs/share_rs1/share2/data/ share3 10.0.0.7:50011:/data/share_rs/share_rs1/sha
分布式文档存储数据库之MongoDB分片集群的问题

前文我们聊到了mongodb的副本集以及配置副本集,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13953598.html:今天我们来聊下mongodb的分片: 1.什么是分片?为什么要分片? 我们知道数据库服务器一般出现瓶颈是在磁盘io上,或者高并发网络io,又或者单台server的cpu.内存等等一系列原因:于是,为了解决这些瓶颈问题,我们就必须扩展服务器性能:通常扩展服务器有向上扩展和向外扩展:所谓向上扩展就是给服务器加更大的磁盘,使用更大更好的内
MongoDB的分片集群基本配置教程

为何要分片 1.减少单机请求数,降低单机负载,提高总负载 2.减少单机的存储空间,提高总存空间. 常见的mongodb sharding 服务器架构要构建一个 MongoDB Sharding Cluster,需要三种角色: 1.Shard Server 即存储实际数据的分片,每个Shard可以是一个mongod实例,也可以是一组mongod实例构成的Replication Set.为了实现每个Shard内部的auto-failover(自动故障切换),MongoDB官方建议每个Shard为一
MongoDB分片集群部署详解

一.环境说明 1.我们prod环境MongoDB的集群架构是做的分片集群的部署,但是目前我们没有分片,即所有数据都在一个分片上,后期如果数量大,需要分配,集群随时可以分片,对业务方透明 2.各个角色的部署情况角色 IP 端口复制集名称 mongos 172.21.244.101,172.21.244.102,172.21.244.94 27000 无 config server 172.21.244.101,172.21.244.102,172.21.244.94 27100 repl_c
关于CentOS 8 搭建MongoDB4.4分片集群的问题

目录一,简介 1.分片 2.为什么使用分片 3.分片原理概述二,准备环境三,集群配置部署四,测试服务器分片功能一,简介 1.分片在MongoDB里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求. 在MongoDB存储海量数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量.这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据. 2.为什么使用分片复制所有的写入操作到主节点延迟的敏感数据会在主节点查询单个副本
Redis 分片集群的实现

目录 1 搭建分片集群 1.1 集群结构 1.2 准备实例和配置 1.3 启动 1.4 创建集群 1.5 测试 2 散列插槽 3 集群伸缩 3.1 创建节点并添加到集群 3.2 转移插槽 4 故障转移 4.1.自动故障转移 4.2 手动故障转移 5 RedisTemplate访问分片集群 1 搭建分片集群主从和哨兵可以解决高可用.高并发读的问题.但是依然有两个问题没有解决: 海量数据存储问题,单个Redis节点对于数据的存储量是有上限的高并发写的问题,高并发读的问题我们可以用主从集群来解决,
redis 分片集群搭建与使用教程

目录前言搭建集群架构图前置准备搭建步骤创建集群 Redis散列插槽说明集群伸缩(添加节点) 故障转移使用redistemplate访问分片集群前言 redis可以说在实际项目开发中使用的非常频繁,在redis常用集群中,我们聊到了redis常用的几种集群方案,不同的集群对应着不同的场景,并且详细说明了各种集群的优劣,本篇将以redis 分片集群为切入点,从redis 分片集群的搭建开始,详细说说redis 分片集群相关的技术点: 单点故障: 单机写(高并发写)瓶颈: 单机存储数据
centos环境下nginx高可用集群的搭建指南

目录 1.概述 2.CentOS中nginx集群搭建 2.1 集群架构图 2.2 Keepalived 2.3 集群搭建准备 2.4 集群搭建 2.4.1 安装keepalived 2.4.2 配置keepalived.conf 2.4.3 编写nginx监测脚本 2.4.4 启动keepalived 2.4.5 启动nginx 2.4.6 测试 3.小结 4.参考文献总结 1.概述 nginx单机部署时,一旦宕机就会导致整个服务的不可用,导致雪崩式效应.集群式部署是解决单点式雪崩效应的有效方
在CentOS中部署多节点Citus集群的详细步骤

前言本文主要介绍了关于CentOS中部署多节点Citus集群的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 1.在所有节点执行以下步骤 Step 01 添加Citus Repostory # Add Citus repository for package manager curl https://install.citusdata.com/community/rpm.sh | sudo bash Step 02 安装Citus并且初始化DB # install
基于mysql+mycat搭建稳定高可用集群负载均衡主备复制读写分离操作

数据库性能优化普遍采用集群方式,oracle集群软硬件投入昂贵,今天花了一天时间搭建基于mysql的集群环境. 主要思路简单说,实现mysql主备复制-->利用mycat实现负载均衡. 比较了常用的读写分离方式,推荐mycat,社区活跃,性能稳定. 测试环境 MYSQL版本:Server version: 5.5.53,到官网可以下载WINDWOS安装包. 注意:确保mysql版本为5.5以后,以前版本主备同步配置方式不同. linux实现思路类似,修改my.cnf即可. A主mysql.19
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法

一.环境准备 CentOS Linux release 7.5.1804 (Core) 系统下安装创建文件夹 $ cd /home/centos $ mkdir software $ mkdir module 将安装包导入software文件夹 $ cd software # 然后把文件拖进去即可这里使用的安装包是 /home/centos/software/hadoop-3.1.3.tar.gz /home/centos/software/jdk-8u212-linux-x64.tar.
教你在virtualBox搭建一个本地kubernets集群问题

目录 1. 虚拟机准备工作 1.1 下载centos7的镜像 1.2 关闭sawp内存空间 1.3 关闭 SeLinux 1.4 配置桥接模式 1.5 安装增强功能 1.6 XSHELL连接SSH 2. 安装docker 2.1 卸载旧的docker版本 2.2 配置阿里的镜像仓库 2.3 安装最新版本的 Docker Engine 和 containerd 2.5 避免和kubelet的冲突 3. 安装kubernetes 3.2 配置kubernetes的yum源 3.3 启动 kubele