-
rsync
1. rsync简介
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。2. rsync特性
rsync支持很多特性：- 可以镜像保存整个目录树和文件系统
- 可以很容易做到保持原来文件的权限、时间、软硬链接等等
- 无须特殊权限即可安装
- 快速：第一次同步时
rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽 - 安全：可以使用
scp、ssh等方式来传输文件，当然也可以通过直接的socket连接 - 支持匿名传输，以方便进行网站镜像
3. rsync的ssh认证协议
rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：ssh协议rsync协议
rsync server 端不用启动 rsync 的 daemo 进程，只要获取 remote host 的用户名和密码就可以直接 rsync 同步文件 rsync server 端因为不用启动 daemon 进程，所以也不用配置文件 /etc/rsyncd.conf- 1
- 2
ssh认证协议跟scp的原理是一样的，如果在同步过程中不想输入密码就用ssh-keygen -t rsa打通通道//这种方式默认是省略了 -e ssh 的，与下面等价： rsync -avz /SRC -e ssh root@172.16.12.129:/DEST -a //文件宿主变化，时间戳不变 -z //压缩数据传输 //当遇到要修改端口的时候，我们可以： rsync -avz /SRC -e "ssh -p2222" root@192.168.229.129:/DEST //修改了ssh 协议的端口，默认是22- 1
- 2
- 3
- 4
- 5
- 6
- 7
4. rsync命令
//Rsync的命令格式常用的有以下三种： rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST //对应于以上三种命令格式，rsync有三种不同的工作模式： 1）拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如： [root@localhost ~]# ls anaconda-ks.cfg nfs.sh [root@localhost ~]# rsync -a nfs.sh a.sh [root@localhost ~]# ll total 12 -rw-------. 1 root root 1453 Jun 13 19:27 anaconda-ks.cfg -rwxr-xr-x 1 root root 1041 Aug 8 18:14 a.sh -rwxr-xr-x 1 root root 1041 Aug 8 18:14 nfs.sh [root@localhost ~]# ll -i total 12 33574978 -rw-------. 1 root root 1453 Jun 13 19:27 anaconda-ks.cfg 33574979 -rwxr-xr-x 1 root root 1041 Aug 8 18:14 a.sh 33574990 -rwxr-xr-x 1 root root 1041 Aug 8 18:14 nfs.sh 2）使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包 \ 含单个冒号":"分隔符时启动该模式。如： [root@localhost ~]# rsync -avz nfs.sh root@192.168.229.129:/root/b.sh sending incremental file list nfs.sh sent 643 bytes received 35 bytes 1,356.00 bytes/sec total size is 1,041 speedup is 1.54 [root@localhost ~]# ssh root@172.16.12.129 'ls -l /root' total 8 -rw-------. 1 root root 1454 Aug 6 04:39 anaconda-ks.cfg -rwxr-xr-x 1 root root 1041 Aug 8 2018 b.sh 3）使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径 \ 包含单个冒号":"分隔符时启动该模式。如： [root@localhost ~]# ls anaconda-ks.cfg a.sh nfs.sh [root@localhost ~]# rsync -avz root@192.168.229.129:/etc/yum.repos.d /root/ receiving incremental file list yum.repos.d/ yum.repos.d/163.repo yum.repos.d/redhat.repo sent 66 bytes received 918 bytes 1,968.00 bytes/sec total size is 1,820 speedup is 1.85 [root@localhost ~]# ls anaconda-ks.cfg a.sh nfs.sh yum.repos.d [root@localhost ~]# ls yum.repos.d/ 163.repo redhat.repo //rsync常用选项： -a, --archive //归档 -v, --verbose //啰嗦模式 -q, --quiet //静默模式 -r, --recursive //递归 -p, --perms //保持原有的权限属性 -z, --compress //在传输时压缩，节省带宽，加快传输速度 --delete //在源服务器上做的删除操作也会在目标服务器上同步- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
5. rsync+inotify
rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。环境说明：
服务器类型 IP地址 应用 操作系统 主机名 源服务器 192.168.229.148 rsync inotify-tools 脚本 centos8/redhat8 node1 目标服务器 192.168.229.150 rsync centos8/redhat8 node2 需求：
- 把源服务器上
/runtime目录实时同步到目标服务器的/tmp/下
在目标服务器上做以下操作：
//关闭防火墙与SELINUX [root@node2 ~]# systemctl disable --now firewalld [root@node2 ~]# setenforce 0 [root@node2 ~]# sed -i '/^SELINUX=/c SELINUX=disabled' /etc/selinux/config [root@node2 ~]# grep '^SELINUX=' /etc/selinux/config SELINUX=disabled // 列出 rsync 包 [root@node2 ~]# dnf list all| grep rsync libguestfs-rsync.x86_64 1:1.40.2-28.module librsync.x86_64 2.3.2-1.el8 librsync-devel.x86_64 2.3.2-1.el8 librsync-doc.noarch 2.3.2-1.el8 rsync.x86_64 # 安装这个包 3.1.3-12.el8 rsync-bpc.x86_64 3.1.3.0-1.el8 rsync-daemon.noarch # 安装这个包 3.1.3-12.el8 [root@node2 ~]# //安装rsync服务端软件 [root@node2 ~]# dnf -y install rsync rsync-daemon .....安装过程省略N //设置rsyncd.conf配置文件 [root@node2 ~]# vi /etc/rsyncd.conf log file = /var/log/rsyncd.log # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建 pidfile = /var/run/rsyncd.pid # pid文件的存放位置 lock file = /var/run/rsync.lock # 支持max connections参数的锁文件 secrets file = /etc/.rsync.passwd # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件 [20220809] # 自定义同步名称 path = /tmp/ # rsync服务端数据存放路径，客户端的数据将同步至此目录 comment = sync etc from client uid = root # 设置rsync运行权限为root gid = root # 设置rsync运行权限为root port = 873 # 默认端口 ignore errors # 表示出现错误忽略错误 use chroot = no # 默认为true，修改为no，增加对目录文件软连接的备份 read only = no # 设置rsync服务端为读写权限 list = no # 不显示rsync服务端资源列表 max connections = 200 # 最大连接数 timeout = 600 # 设置超时时间 auth users = admin # 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开 hosts allow = 192.168.12.128 # 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开 hosts deny = 192.168.1.1 # 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开 //创建用户认证文件 [root@node2 ~]# echo 'admin:runtime123!' > /etc/.rsync.passwd [root@node2 ~]# cat /etc/.rsync.passwd admin:runtime123! //设置文件权限 [root@node2 ~]# chmod 600 /etc/rsyncd.conf [root@node2 ~]# chmod 600 /etc/.rsync.passwd [root@node2 ~]# ll /etc/rsyncd.conf -rw-------. 1 root root 814 Aug 10 15:09 /etc/rsyncd.conf [root@node2 ~]# ll /etc/.rsync.passwd -rw-------. 1 root root 18 Aug 10 15:14 /etc/.rsync.passwd //启动rsync服务并设置开机自启动 [root@node2 ~]# systemctl enable --now rsyncd Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service. [root@node2 ~]# systemctl status rsyncd ● rsyncd.service - fast remote file copy program daemon Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset:> Active: active (running) since Wed 2022-08-10 15:17:13 CST; 8s ago Main PID: 10609 (rsync) [root@node2 ~]# ss -antl State Recv-Q Send-Q Local Address:Port Peer Address:Port Process LISTEN 0 128 0.0.0.0:22 0.0.0.0:* LISTEN 0 5 0.0.0.0:873 0.0.0.0:* LISTEN 0 128 [::]:22 [::]:* LISTEN 0 5 [::]:873 [::]:*- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
在源服务器上做以下操作：
//关闭防火墙与SELINUX [root@node1 ~]# systemctl disable --now firewalld [root@node1 ~]# getenforce Enforcing [root@node1 ~]# setenforce 0 [root@node1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/sysconfig/selinux [root@node1 ~]# grep '^SELINUX=' /etc/selinux/config SELINUX=disabled //配置yum源 [root@node1 ~]# ls /etc/yum.repos.d/ CentOS-Base.repo epel-modular.repo epel.repo epel-testing-modular.repo epel-testing.repo //安装rsync服务端软件，只需要安装，不要启动，不需要配置 [root@node1 ~]# dnf -y install rsync .....安装过程省略N //创建认证密码文件 [root@node1 ~]# echo 'runtime123!' > /etc/.rsync.passwd [root@node1 ~]# cat /etc/.rsync.passwd runtime123! //设置文件权限，只设置文件所有者具有读取、写入权限即可 [root@node1 ~]# chmod 600 /etc/.rsync.passwd [root@node1 ~]# ll /etc/.rsync.passwd -rw-------. 1 root root 12 Aug 9 15:24 /etc/.rsync.passwd //在源服务器上创建测试目录，然后在源服务器运行以下命令 // 测试用的文件 [root@node1 ~]# mkdir /runtime [root@node1 ~]# cd /runtime/ [root@node1 runtime]# touch 道德天尊 [root@node1 runtime]# touch abc [root@node1 runtime]# touch jieqing [root@node1 runtime]# touch xixi [root@node1 runtime]# touch hehe [root@node1 runtime]# touch meimei [root@node1 runtime]# ls abc hehe jieqing meimei xixi 道德天尊 [root@node1 ~]# rsync -avH --port 873 --progress --delete /runtime admin@192.168.229.150::20220809 --password-file=/etc/.rsync.passwd sending incremental file list runtime/ runtime/abc 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=5/7) runtime/hehe 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=4/7) runtime/jieqing 0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=3/7) runtime/meimei 0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=2/7) runtime/xixi 0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=1/7) runtime/道德天尊 0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=0/7) sent 438 bytes received 142 bytes 1,160.00 bytes/sec total size is 0 speedup is 0.00 //运行完成后，在目标服务器上查看，在/tmp目录下有runtime目录，说明数据同步成功 //安装inotify-tools工具，实时触发rsync进行同步 //查看服务器内核是否支持inotify [root@node1 ~]# ll /proc/sys/fs/inotify/ total 0 -rw-r--r--. 1 root root 0 Aug 9 15:36 max_queued_events -rw-r--r--. 1 root root 0 Aug 9 15:36 max_user_instances -rw-r--r--. 1 root root 0 Aug 9 15:36 max_user_watches [root@node1 ~]# //如果有这三个max开头的文件则表示服务器内核支持inotify //安装inotify-tools [root@node1 ~]# dnf -y install inotify-tools 安装过程略.... //写同步脚本，此步乃最最重要的一步，请慎之又慎。让脚本自动去检测我们制定的目录下 \ //文件发生的变化，然后再执行rsync的命令把它同步到我们的服务器端去 [root@node1 ~]# mkdir /scripts [root@node1 ~]# touch /scripts/inotify.sh [root@node1 ~]# chmod 755 /scripts/inotify.sh [root@node1 ~]# ll /scripts/inotify.sh -rwxr-xr-x. 1 root root 0 Aug 9 15:39 /scripts/inotify.sh [root@node1 ~]# vim /scripts/inotify.sh host=192.168.229.150 # 目标服务器的ip(备份服务器) src=/runtime # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在） des=20220809 # 自定义的模块名，需要与目标服务器上定义的同步名称一致 password=/etc/.rsync.passwd # 执行数据同步的密码文件 user=admin # 执行数据同步的用户名 inotifywait=/usr/bin/inotifywait $inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w %f %e' -e modify,delete,create,attrib $src \ | while read files;do rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 done //启动脚本 nohup : 关闭终端后它还在运行 [root@node1 ~]# nohup bash /scripts/inotify.sh & [1] 11335 [root@node1 ~]# nohup: ignoring input and appending output to 'nohup.out' [root@node1 ~]# ps -ef | grep inotify root 11335 2050 0 15:46 pts/0 00:00:00 bash /scripts/inotify.sh root 11336 11335 0 15:46 pts/0 00:00:00 /usr/bin/inotifywait -mrq --timelete,create,attrib /runtime root 11337 11335 0 15:46 pts/0 00:00:00 bash /scripts/inotify.sh root 11341 2050 0 15:46 pts/0 00:00:00 grep --color=auto inotify [root@node1 ~]# //在源服务器上生成一个新文件 [root@node1 ~]# echo 'hello world' > /runtime/laoge [root@node1 ~]# cat /runtime/laoge hello world //查看inotify生成的日志 [root@node1 ~]# ls /tmp/ rsync.log vmware-root_992-2999657319 [root@node1 ~]# tail /tmp/rsync.log 20220809 15:48 /runtime/ laoge CREATE was rsynced 20220809 15:48 /runtime/ laoge MODIFY was rsynced //从日志上可以看到，我们生成了一个laoge文件，并且添加了内容到其里面- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
设置脚本开机自动启动：
[root@node1 ~]# chmod +x /etc/rc.d/rc.local [root@node1 ~]# ll /etc/rc.d/rc.local -rwxr-xr-x. 1 root root 474 Feb 11 23:37 /etc/rc.d/rc.local [root@node1 ~]# echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local [root@node1 ~]# cat /etc/rc.d/rc.local #!/bin/bash # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES # # It is highly advisable to create own systemd services or udev rules # to run scripts during boot instead of using this file. # # In contrast to previous versions due to parallel execution during boot # this script will NOT be run after all other services. # # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure # that this script will be executed during boot. touch /var/lock/subsys/local nohup /bin/bash /scripts/inotify.sh- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
到目标服务器上去查看是否把新生成的文件自动传上去了：
[root@node2 tmp]# pwd /tmp [root@node2 tmp]# ls runtime vmware-root_981-4290756372 [root@node2 tmp]# ls runtime/ abc hehe jieqing laoge meimei xixi 道德天尊 //由此可见，已将源服务器的/runtime目录整个同步到了目标服务器，且新增的runtime目录也自动同步了- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
记得要重启验证是否能开机自启
-
相关阅读:
判断日期区间或季节等
Java毕业设计-科研工作管理系统
【4003】基于springboot实现的线上阅读系统
个人对高等数学极限的理解1
python API自动化(Pytest+Excel+Allure完整框架集成+yaml入门+大量响应报文处理及加解密、签名处理)
Java项目导入IDEA的流程配置及常见问题解决（持续更新中...）
没域名也可以frp实现内网穿透 SSH，个人搭建内网穿透 7月6日
MySQL架构设计详解
hbuilderx创建、运行uni-app
实战讲解MyBatis缓存：一级缓存和二级缓存（图+文+源码）
- 原文地址：https://blog.csdn.net/m0_58805648/article/details/126258883
