linux下使用rsync同步目录

本文描述了linux下使用rsync单向同步两个机器目录的问题。 使用rsync同步后可以保持目录的一致性（含删除操作）。

数据同步方式

1、从主机拉数据

备机上启动的流程

同步命令：

rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir}

参数说明：

  • -a 参数，相当于-rlptgoD（-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件）；
  • -z 传输时压缩；
  • -P 传输进度；
  • -v 传输时的进度等信息；

示例：

rsync -avzP --delete root@192.168.1.100:/tmp/rtest1 /tmp/

2、向备机推数据

主机上启动的流程

同步命令：

rsync -avzP --delete {localDir} root@{remoteHost}:{remoteDir}

示例：

rsync -avzP --delete /tmp/rtest1 root@192.168.1.101:/tmp/

自动同步配置

描述同步时不输入密码的配置的方法。

1、使用ssh key

该方法可以直接使用rsync命令进行同步，同步过程中无需输入密码。

在主机上产生ssh key :

ssh-keygen -t rsa

在备机上加入pubkey

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.101

或者手动添加：

在主机上执行以下命令获取pubkey：

cat ~/.ssh/id_rsa.pub

在备机上加入key内容：

vi ~/.ssh/authorized_keys

使用pexpect自动输入密码

示例代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pexpect
import time
import traceback

def doRsync(user,passwd,ip,srcDir,dstDir,timeout=3600):
  cmd = "rsync -azPq --delete {srcDir} {rUser}@{rHost}:{dstDir}".format(
    rUser = user,rHost=ip,srcDir=srcDir,dstDir=dstDir
  )
  try:
    ssh = pexpect.spawn(cmd,timeout=timeout)
    print cmd
    i = ssh.expect(['password:', 'continue connecting (yes/no)?'], timeout=5)
    if i == 0 :
      ssh.sendline(passwd)
    elif i == 1:
      ssh.sendline('yes')
      ssh.expect('password: ')
      ssh.sendline(passwd)
    ssh.read()
    ssh.close()
  except :
    #print traceback.format_exc()
    pass

if __name__ == '__main__':
  doRsync("root","123456","192.168.1.101","/tmp/rtest1","/tmp")

上面是使用python实现的代码，大家可根据情况用其它语言实现该功能。

其它

1、rsync在执行过程中被kill掉会怎么样；

It is safe to kill an rsync process and run the whole thing again; it will continue where it left off. It may be a little inefficient, particularly if you haven't passed --partial (included in -P), because rsync will check all files again and process the file it was interrupted on from scratch.

rsync被kill掉是安全的，下次启动时还可以正常工作。

2、rsync不能指定时间段；

1）该问题可以通过kill来解决

2）或者使用pexpect的timeout参数来控制

3）可以先通过find查找过滤出文件夹的名字，然后使用rsync进行同步 这个可以根据现有业务的特征进行，比如：

find /tmp -name '*' -newermt '2016-03-08' ! -newermt '2016-03-20'

3、rsync在写文件过程中同步（比如录音过程中执行rsync操作）

经测试，rsync会同步部分文件内容，文件写入完成后再执行rsync会保持文件的一致

4、当文件数量达到百万级以上时，rsync同步时扫描改变的文件非常耗时

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • linux rsync同步命令(值得收藏)

    如果你是一位运维工程师,你很可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能. 说到"同步",不得不提的利器就是rsync,今天就来说说我从这个工具中看到的同步的艺术. [不带任何选项] 我们经常这样使用rsync: 复制代码 代码如下: $ rsync main.c machineB:/home/userB 1 只要目的端的文件内容和源端不一样,就会触发数据同步,rsync会确保两边的文件内容一样. 2 但rsync不会同步文件的&quo

  • linux rsync安装 配置 实例详解

    linux rsync安装 配置 实例详解

    Redhat中安装rsync 1.  首先在服务端和客户端都安装rsync,我的RHEL5默认已经安装好了.在安装RedHat5的时候,可以在软件定制中的"基本系统"-->"基本"的"可选的软件包"中看见:rsync-2.6.8是默认选择安装的 2.    也可以通过命令行检查是否安装: 或者:rpm –q rsync 3.  如果在开始安装RedHat的时候,使用默认选择的rysnc软件,但现在想用更高版本的rsync,可以卸载掉rysn

  • Linux 服务器同步 Rsync同步服务器文件

    当一台服务器上的文件更新后,其它的服务器也需要更新,而且在更新的时 候应该是只对新增或是修改过的文件进行更新,否则会造成网络带宽和时间的浪费.rsync就是能有 效的保持文件及目录的一致的优秀软件. rsync,remote synchronize 顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的 权限.时间.软硬链接等附加信息,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另 外它还是免费的软件.rysnc的官方网站:http://rsync.sa

  • Linux下rsync远程数据同步命令的详细介绍

    介绍 rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.rsync使用所谓的"rsync算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快. rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明. 常用场景 无密码同步 服务端:vim /etc/rsyncd.conf #This is the rsync daemon configura

  • rsync中文手册之使用rsync实现网站镜像和备份linux第1/3页

    简介 对于选择Linux 作为应用平台的的中小型企业或网站来说,往往面临如何实现数据远程备份或者网站镜象的问题,虽然有商业化的备份和镜象产品可供选择,但这些产品的价格往往过于昂贵.因此如何利用自由软件高效实现远程备份和网站镜象就成为一个值得讨论的话题. 通过网络进行远程数据备份或者网站镜象的最简单的方法就是使用wget,但是这种方式每次都需要将所有数据都重新在网络上传输一遍,而不考虑哪些文件是经过更新的,因此效率非常低下.尤其在需要备份的数据量很大的时候,往往需要花费数个小时来在网络上进行数据传

  • linux rsync的安装与配置

    1.安装:yum -y install rsync 2.vim /etc/xinetd.d/rsync 复制代码 代码如下: service rsync{disable = nosocket_type = streamwait = nouser = rootserver = /usr/bin/rsyncserver_args = –daemonlog_on_failure += USERID} 3.vim /etc/rsyncd.conf(这个文件是手动创建,默认没有) uid = nobody

  • linux下使用rsync同步目录

    本文描述了linux下使用rsync单向同步两个机器目录的问题. 使用rsync同步后可以保持目录的一致性(含删除操作). 数据同步方式 1.从主机拉数据 备机上启动的流程 同步命令: rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir} 参数说明: -a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件:-p 表示保持文件原有权限:-t 保持文件原有时间:-g 保持文件原有用户组:-o 保持文

  • php在linux下检测mysql同步状态的方法

    本文实例讲述了php在linux下检测mysql同步状态的方法.分享给大家供大家参考.具体分析如下: 这里通过两个实例来介绍mysql同步状态检测实现方法.代码如下: 复制代码 代码如下: #!/bin/sh     #check MySQL_Slave Status  #crontab time 00:10  MYSQL_USER="root" MYSQL_PWD="123456" MYSQL_SLAVE_LOG="/tmp/check_mysql_sl

  • linux下判断文件和目录是否存在的方法(总结)

    linux下判断文件和目录是否存在的方法(总结)

    1.前言 工作中涉及到文件系统,有时候需要判断文件和目录是否存在.我结合APUE第四章文件和目录,总结一下如何正确判断文件和目录是否存在,方便以后查询. 2.stat系列函数 stat函数用来返回与文件有关的结构信息.stat系列函数有三种情况,分别对应文件名称.文件描述符和符号链接文件.stat结构描述了文件的属性,主要包括文件的类型.文件大小等等.详细stat结构如下所示: struct stat { mode_t st_mode; // file type & mode(permissio

  • Linux下如何高效切换目录的方法

    Linux 下对于目录的切换,大家肯定会想到一个命令:cd 命令.这个是 Linux 下再基本不过的命令,如果这个命令都不知道的话,赶紧剖腹自尽去吧. cd 命令确实很方便,但如果需要频繁在下面的目录切换,你可能要怀疑人生了: /home/alvin/projects/blogdemos/linux-system-programming/thread /home/alvin/projects/blogdemos/diff /home/harry/study/日本文化/中日交流/影视业/动作片 如

  • linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)

    linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)

    配置过程记录下来,防止遗忘!如有建议技术支持QQ群139785720 配置架构如下: 一.安装步骤(服务器端192.168.0.5) 1) 安装rsync 点击下载rsync-3.0.9.tar.gz   下载文件放到该目录下/usr/src   #cd /usr/src   #tar -zxvf rsync-3.0.9.tar.gz //解压文件   #cd rsync-3.0.9 //进入该文件目录   #./configure //主要的作用是对即将安装的软件进行配置,检查当前的环境是否满

  • Linux下使用Rsync完成自动化备份

    1.将基础环境搭配好,挂载dvd,配置dvd.repo,清楚缓存,关闭防火墙(两台主机都要做) 查看rsync的版本 2.创建stor目录,并将目录下的dvd文件复制到stor中 3.查看压缩包,并将压缩包传输到另一台主机上 4.在另一台主机上ls查看一下 5.rysnc:它是一种C/S架构模型的.(有客户端有服务端)监听端口:873 6.两者都安装好httpd 7.客户端远程传输服务端文件到/var/www/htm下 8.密钥认证(两台主机都要做) 9.查看html文件并编辑copy.sh 1

  • 详解Linux下的sudo及其配置文件/etc/sudoers的详细配置

    详解Linux下的sudo及其配置文件/etc/sudoers的详细配置 1.sudo介绍 sudo是linux下常用的允许普通用户使用超级用户权限的工具,允许系统管理员让普通用户执行一些或者全部的root命令,如halt,reboot,su等等.这样不仅减少了root用户的登陆 和管理时间,同样也提高了安全性.Sudo不是对shell的一个代替,它是面向每个命令的. 它的特性主要有这样几点: § sudo能够限制用户只在某台主机上运行某些命令. § sudo提供了丰富的日志,详细地记录了每个用

  • Linux下mysql数据库的创建导入导出 及一些基本指令

    首先linux 下查看mysql相关目录 查看 mysql 的安装路径 执行查询 SQL mysql>show variables like '%dir%'; datadir 就是数据路径 确定了运行路径,执行导入.导出mysql数据库命令 一.导出数据库用mysqldump命令 (注意:先cd到mysql的运行路径下,再执行一下命令): 1.导出数据和表结构: mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql 注意 我的服务器配置权限特殊 因此需要用 muysqldu

  • linux下实现web数据同步的四种方式(性能比较)

    linux下实现web数据同步的四种方式(性能比较)

    实现web数据同步的四种方式 ======================================= 1.nfs实现web数据共享2.rsync +inotify实现web数据同步3.rsync+sersync更快更节约资源实现web数据同步4.unison+inotify实现web数据双向同步 ======================================= 一.nfs实现web数据共享 nfs能实现数据同步是通过NAS(网络附加存储),在服务器上共享一个文件,且服务器需

  • linux系统中rsync+inotify实现服务器之间文件实时同步

    linux系统中rsync+inotify实现服务器之间文件实时同步

    之前做了"ssh信任与scp自动传输脚本"的技术文档,此方案是作为公司里备份的方法,但在实际的运行中,由于主服务器在给备份服务器传输的时候,我们的主服务器需要备份的文件是实时.不停的产生的,造成不知道主服务器给备份服务器传输了多少文件,磁盘空间就那么大,做备份的原因:一个是为了保持文件,另外一个是解决主服务器的磁盘饱满问题,但由于不知道备份服务器到底接收了多少文件,所以主服务器里的文件不敢删除(如果没有备份的情况下删除,问题就严重了,我这个是政府的项目,服务器里的文件都是重要的,删错了

随机推荐