MongoDB实现自动备份的全过程记录

前言

前段时间，个人小程序 因服务器磁盘空间被占满，导致MongoDB挂了。清理了一些无用的数据后，重启MongoDB，竟然无法启动，一番折腾(20分钟)后，总算修复了。这让我意识到：虽然是个人小项目，但也必须定期备份啊，否则数据丢了很尴尬的说。

碎碎念

我不是MongoDB高手，之所以选择MongoDB，是因为需求不明确——MongoDB很适合不明确需求场景的开发。

个人对Elasticsearch更熟悉，Elasticsearch也很适合不定需求的业务开发;但个人服务器只有1G内存，用Elasticsearch得升级服务器，得花好多钱啊啊啊。

MongoDB备份比较简单，只需用内置的 mongodump 即可，命令格式如下：

mongodump -h {mongodb主机名}:{端口} -u {账号} -p {密码} -d {数据库名称} -o {存储路径}

然而，笔者为MongoDB设置的密码是带有特殊字符的，例如 @#$\ 之类，直接以如上形式执行命令，会报错!

所以笔者选择不带 -p 参数执行命令，即：

mongodump -h {mongodb主机名}:{端口} -u {账号} -d {数据库名称} -o {存储路径}

然后，命令提示符会提示输入密码。例如

# mongodump -h 127.0.0.1 -u user -d itmuch -o /tmp/somepathEnter password:

至此已实现MongoDB的备份。然而，手动备份还是挺麻烦的，怎么实现备份的自动化呢?

自动备份

正常来说，自动备份是比较简单的——只需将手动备份的命令做成Shell脚本，并设置定时任务即可。然而，笔者的场景，命令是需要交互式输入密码的啊!

怎么才能自动输入密码呢?expect 登场了——一款提供自动交互的工具。

安装expect

yum install -y expect

编写expect脚本

expect语法非常简单，和Shell几乎一样。笔者的脚本编写如下：

#!/bin/expect
# spawn是expect的语句，执行命令前需添加该字眼
set DATE [exec date "+%Y-%m-%d"]
set DIR /xxxxx/dbbak-$DATE
spawn rm -rf $DIR
spawn echo 'removing...$DIR'
spawn mongodump -h {host:port} -u {user} -d {dbname} -o $DIR
# 交互获取是否返回password:关键字
expect "password:"
# 将密码发送过去，注意最后的换行不能少，否则得人工输入回车。
send "密码\r"
# 停留在远程控制台，没有这行就会直接返回本地控制台，而不等shell执行完
interact

注释很全面了，聪明的你阅读肯定没有压力。最终备份出来的文件会存放在 /xxxxx/dbbak-备份日期 目录中。

自动备份

笔者利用Linux定时任务实现自动执行。

crontab -e

在新窗口中添加如下内容：

0 0 1 * * ? /usr/bin/expect 上面expect shell的完整路径

原本以为这样就可以定时执行了，然而却无法正常执行。

百度后，将脚本修改为如下，终于可以正常执行了。

#!/bin/expect
# spawn是expect的语句，执行命令前需添加该字眼
set DATE [exec date "+%Y-%m-%d"]
set DIR /xxxxx/dbbak-$DATE
spawn rm -rf $DIR
spawn echo 'removing...$DIR'
spawn mongodump -h {host:port} -u {user} -d {dbname} -o $DIR
# 交互获取是否返回password:关键字
expect "password:"
# 将密码发送过去，注意最后的换行不能少，否则得人工输入回车。
send "密码\r" 

set timeout 120
expect eof 

exit

总结

本文没什么难点，都是一些细节——

  • 因为密码含有特殊字符，所以需要交互式输入密码;
  • 因为要交互式输入密码，所以使用了expect

写出来主要是总结下踩到的坑，另外，expect是一款通用的提供自动交互的工具，用来实现ssh的自动登录、sftp的自动登录、mysql的自动登录等。脚本的套路都和本文展示的结构基本类似。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • Windows下自动备份MongoDB的批处理脚本

    这段批处理代码用于在Windows服务器上自动备份Mongodb数据库,每次备份会自动创建一个备份文件夹 1.编写一个bat文件,文件内容如下: 复制代码 代码如下: @ECHO OFF md D:\deployment\mongoDb\data\backup\%date:~0,4%-%date:~5,2%-%date:~8,2%\%time:~0,2%-%time:~3,2% mongodump -h 192.168.0.198 -d rssapp -o D:\deployment\mongo

  • Linux中MongoDB如何实现远程自动备份详解

    前言 看过上一篇接手老项目的痛--MongoDB学习及集群搭建知道,最近接手了一个后妈养的项目,项目的数据库没有人维护,DBA以各种理由推脱暂时不接,面对裸奔没有备份的数据库,我的内心很焦灼,于是花了点时间把生产环境的自动备份给搞起来. 下面话不多说了,来一起看看详细的介绍吧 一些准备 既然都备份了,为了保险起见,备份与库就不放在同一台服务器上了,于是向运维申请了一台服务器,同时安装好mongo,如果不知道怎么安装mongo的话可以看我的上一篇文章. 安装完之后,首先测试下是否可以远程访问目标m

  • Linux下MongoDB数据库实现自动备份详解

    本文主要给大家介绍的是关于Linux下MongoDB数据库实现自动备份的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 一.创建MongoDB备份目录 mkdir -p /data/mongodb_bak/mongodb_bak_now mkdir -p /data/mongodb_bak/mongodb_bak_list 二.新建MongoDB数据库备份脚本(/data/mongodb_bak/MongoDB_bak.sh) #!/bin/bash #backup MongoDB

  • MongoDB实现自动备份的全过程记录

    前言 前段时间,个人小程序 因服务器磁盘空间被占满,导致MongoDB挂了.清理了一些无用的数据后,重启MongoDB,竟然无法启动,一番折腾(20分钟)后,总算修复了.这让我意识到:虽然是个人小项目,但也必须定期备份啊,否则数据丢了很尴尬的说. 碎碎念 我不是MongoDB高手,之所以选择MongoDB,是因为需求不明确--MongoDB很适合不明确需求场景的开发. 个人对Elasticsearch更熟悉,Elasticsearch也很适合不定需求的业务开发;但个人服务器只有1G内存,用Ela

  • Mysql二进制安装与备份的全过程记录

    目录 Mysql的二进制安装 Mysql的配置文件 备份与恢复 总结 Mysql的二进制安装 下载安装包 [root@localhost mysql]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.33-linux-glibc2.12-x86_64.tar.gz --2021-05-04 20:34:21-- https://downloads.mysql.com/archives/get/p/23/file

  • Oracle RMAN自动备份控制文件方法介绍

    RMAN(Recovery Manager)是一种用于备份(backup).还原(restore)和恢复(recover) 数据库的 Oracle 工具.RMAN只能用于ORACLE8或更高的版本中.它能够备份整个数据库或数据库部件,如表空间.数据文件.控制文件.归档文件以及Spfile参数文件.RMAN也允许您进行增量数据块级别的备份,增量RMAN备份是时间和空间有效的,因为他们只备份自上次备份以来有变化的那些数据块.而且,通过RMAN提供的接口,第三方的备份与恢复软件如veritas将提供更

  • Oracle自动备份及自动备份步骤

    数据是应用的核心部分,程序坏了换台机器重新发布就可以,但数据一旦丢失,造成的损失将不可挽回,程序发布到生产后,数据的备份便显得尤为重要,由于不一定所有的服务均有资金完成高级的备份如RAC和DG,在我们只有一台数据库服务器的,暂时采取最简单的备份策略,export出dmp进行保存. 一.备份脚本 1.初始化变量,记录开始日志 #变量 sysname=填写自己的系统名称 syspath=/home/oracle/databak/$sysname v_date=$(date '+%Y%m%d%H%M%

  • 网管实战 服务器为什么无法进行自动备份

    网管实战 服务器为什么无法进行自动备份

    在Internet发展得如火如荼的今天,不少单位用户甚至个人用户都开始拥有了属于自己的服务器.为了确保保存在服务器中的数据信息的安全,网络管理人员往往都会对服务器中的重要信息进行定期备份操作,以避免服务器一旦遇到意外发生瘫痪或目标数据受到病毒破坏而无法及时恢复重要信息.在对服务器中的数据信息进行备份操作时,不少人都会使用Windows服务器系统内置的备份工具来对数据进行直接备份,也有的人会选用专业的备份工具来备份服务器中的重要数据;这不,笔者就是通过Windows服务器系统内置的"任务计划&qu

  • 微信小程序云开发如何实现数据库自动备份实现

    前言 数据是无价的,我们通常会把重要的业务数据存放在数据库中,并需要对数据库做定时的自动备份工作,防止数据异常丢失,造成无法挽回的损失. 小程序云开发提供了方便的云数据库供我们直接使用,云开发使用了腾讯云提供的云数据库,拥有完善的数据保障机制,无需担心数据丢失.但是,我们还是不可避免的会担心数据库中数据的安全,比如不小心删除了数据集合,写入了脏数据等. 还好,云开发控制台提供了数据集合的导出,导入功能,我们可以手动备份数据库.不过,总是手动备份数据库也太麻烦了点,所有重复的事情都应该让代码去解决

  • 数据库Oracle数据的异地的自动备份

    正在看的ORACLE教程是:数据库Oracle数据的异地的自动备份.在大型商业应用中,数据的异地容灾备份十分重要,也必不可少.笔者根据自己的实践经验,设计了一套简洁地实现异地数据自动备份的方法,可供数据库管理人员参考.文中所有的程序都经过测试,运行良好.这里模拟的异地运行环境为一主一备两套Sun Solaris系统,所采用的备份方法为Oracle数据库提供的标准备份:export. 相关命令 文中主要用到三个命令,这里先单独介绍一下: export: 将数据库中数据备份成一个二进制系统文件,它有

随机推荐