rsync+inotify-tools文件传输

目录

rsync

rsync概述

rsync优缺点

rsync参数

rsync命令

rsync同步源

linux 安装rsync

安装rsync服务端

安装rsync客户端

windows 安装rsync

rsync实践

inotify-tools 

inotify-tools概述 

 innotify-tools 命令、参数、事件

 rsync客户端安装inotify-tools

 innotify-tools实践

rsync+inotify-tools实践

加入开机自动执行

---

数据均由rsync客户端推向服务端进行传输

rsync传输命令最好手敲 否则可能会出现模块用户密码无法识别的情况

官网：rsync
Linux版下载：rsync download
Windows版下载：cwRsync - Rsync for Windows | itefix.net

rsync

rsync概述

 rsync（remote sync）远程同步，rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。已支持跨平台，可以在Windows与Linux间进行数据同步。 rsync监听端口：873，rsync运行模式：C/S。

官网：https://rsync.samba.org/
官方文档：https://www.samba.org/ftp/rsync/rsync.html
GitHub地址：https://github.com/WayneD/rsync

rsync优缺点

一、优点
可以镜像保存整个目录树和文件系统；
可以做到保持原来文件的权限、时间、软硬链接等等；
无须特殊权限即可安装；
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能；
可以使用rcp、ssh等方式来传输文件，rsync本身不对数据加密；
支持匿名传输，可以实现方便安全的进行数据备份和镜像；
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高；
可以通过socket（进程方式）传输文件和数据。
2）缺点
同步数据，需要扫描所有文件进行对比，才进行差量传输。如果文件数量达到百万甚至千万级，扫描文件对比文件将非常耗时，降低了rsync效率；
rsync不能实时地区监测、同步数据。虽然可以通过守护进程方式触发同步，但两次动作间有时间差，导致数据不一致，无法应对出现故障时完全恢复数据。

缺点可以通过和inotify-tools配合解决

rsync参数

rsync命令

rsync --help
rsync [选项]  原始位置   目标位置

rsync同步源

       在远程同步任务中，负责发起rsync司步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源(备份源)。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
例:
        rsync服务端同步别人，下行同步，将别人的信息下载到本地；
        别人同步rsync服务端，上行同步，将信息上传至rsync服务器。

同步方式：
        全量备份：
        原有的数据全部传送，把原来的文件和新的文件一起统一传送，全量复制，效率低

        增量备份：
        在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输，增量复制，效率高

配置源的两种表示方法
格式一：
用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.10::wwwroot /root

格式二：
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.10/wwwroot /root

linux 安装rsync

安装rsync服务端

#安装rsync和xinetd超级守护进程
yum install -y xinetd rsync
#配置rsync配置文件
vim /etc/rsyncd.conf
##########linux rsyncd.conf  配置文件参数后面不能有备注否则可能有问题##############
#Global Settings 全局配置
uid = nobody                         #运行rsync的用户
gid = nobody                         #运行rsync的用户组
use chroot = no                      #是否让进程离开工作目录
max connections = 5                  #最大并发连接数，0为不限制
timeout = 600                        #超时时间
pid file = /var/run/rsyncd.pid       #指定rsync的pid存放路径
lockfile = /var/run/rsyncd.lock      #指定rsync的锁文件存放路径
log file = /var/log/rsyncd.log       #指定rsync的日志存放路径
#模块配置
[web1]
path = /var/www                      #认证的模块名,在client端需要指定 服务端存放客户端文件的目录 windows客户端存放d盘下backup_d文件夹下path = /cygdrive/d/backup_d
ignore errors = yes                  #忽略一些无关的I/O错误
read only = no                       #客户端是否能拉（PULL）
write only = no                      #客户端是否能推（PUSH）
hosts allow = 172.16.150.150         #白名单，可以访问此模块的主机
hosts deny = *                       #黑名单，*表示任何主机
list = yes                           #客户端请求是否可以列出模块列表
uid = root                           #以root的身份去获取文件
gid = root
auth users = web                     #认证此模块的用户名
secrets file = /etc/web.passwd       #指定存放“用户名：密码”格式的文件
max connections = 200                # 最大连接数
timeout = 600                        # 设置超时时间
###############################################################
##########windows rsyncd.conf  配置文件参数后面不能有备注否则可能有问题##############
uid = root
gid = 0
use chroot = no
strict modes = no
max connections = 5
timeout = 600
pid file = rsyncd.pid
lockfile = rsyncd.lock
log file = rsyncd.log
prot = 873
 
[test]
	path = /cygdrive/d/backup_d
	ignore errors = yes
	read only = no
	hosts deny = *
	hosts allow = 192.168.90.243
	list = yes
	max connections = 200
	timeout = 600
	auth users = asd
	secrets file = etc/rsyncd.secrets
###########################################################################
 
#创建同步目录
mkdir -p /var/www/
#配置rsync认证文件/etc/web.passwd
echo "web:web" > /etc/web.passwd
#修改/etc/web.passwd的权限为600
chmod 600 /etc/web.passwd
#配置服务能够启动
chkconfig rsync on
systemctl start xinetd start
#检查873端口是否监听成功
ss -antl | grep 873
#检查rsync的运行状态
chkconfig --list
systemctl status rsync

安装rsync客户端

#安装
yum install -y xinetd rsync
#设置rsync客户端的密码文件，客户端只需要设置rsync同步的密码即可，不用设置用户名(默认已经安装了rsync）
echo web > /etc/web.passwd
#修改/etc/rsyncd.passwd的权限为600
chmod 600 /etc/web.passwd

windows 安装rsync

正常执行rsync安装包下一步下一步下一步即可，服务端需要设置一个账号和密码，客户端则不用，配置信息和linux一样

window实践 创建bat脚本 执行脚本进行传输数据

@echo off
cmd /k "cd /d E:\cwRsync\bin&&rsync.exe -vzrtopg --progress --delete xz@服务端ip::www /cygdrive/E/databackup/www --port=端口号 --password-file=/cygdrive/E/cwRsync/passwd
"
pause

rsync实践

# 在192.168.0.99节点上测试手动同步
# 从远端【拉取】数据
rsync -avz root@192.168.0.99:/opt/nfsdata/* /opt/nfsdata/
#从服务端拉取数据
rsync -avz --progress --delete  root@192.168.90.13::web /shell
 
# 在192.168.0.99节点上测试手动同步
# 从【推送】数据
rsync -avz /opt/nfsdata/* root@192.168.0.99:/opt/nfsdata/
 
### 在192.168.0.99节点上测试手动同步，通过【拉取】数据，配置文件配置的模块，这里走的是rsync协议，上面走的是ssh协议，只要做了免密就直接推送或拉取数据了。这里就会用到配置文件里配置的users用户了，也是secrets file文件里配置的其中一个用户。
#【方式一】
rsync -avz backuper@192.168.0.99::nfsdata /opt/nfsdata/
# 【方式二】
rsync -avz rsync://backuper@192.168.0.99/nfsdata /opt/nfsdata/
 
# 在192.168.0.99节点上执行
###【推送】
#【方式一】非交互式，/opt/backuper.pass文件是backuper用户的密码，且文件权限600
rsync -avz --password-file=/opt/backuper.pass /opt/nfsdata/* backuper@192.168.0.99::nfsdata
# 【方式二】
rsync -avz /opt/nfsdata/* rsync://backuper@192.168.0.99/nfsdata 
 
#有密码形式推送数据到服务端
rsync -avz --progress --delete /shell 用户@IP地址::模块 --password-file 客户端存放密码文件
rsync -avz --progress --delete /shell @192.168.90.13::test --password-file /etc/web.passwd
 
#无密码形式推送数据到服务端
rsync -avz --progress --delete /shell  uid@服务IPD地址::模块
rsync -avz --progress --delete /shell  root@192.168.90.13::web
 

inotify-tools 

inotify-tools概述 

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

Inotify 监控文件系统操作，比如读取、写入和创建，基于事件驱动，可以做到对事件的实时响应，高效，而且没有轮询造成的系统资源消耗。

在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

inotify能监控非常多的文件系统事件，通过监控这些事件来监控文件是否发生变更，然后通过rsync来更新发生变更的文件

 innotify-tools 命令、参数、事件

命令
inotify-tools 包含了两个命令：inotifywait 与 inotifywatch。
        inotifywait：在被监控的文件或目录上等待特定文件系统事件发生，执行后处于阻塞状态，适合在shell脚本中使用。
阻塞状态 (Blocked):阻塞状态是线程因为某种原因放弃CPU的使用权，暂时停止运行。
        inotifywatch：用于收集文件系统的统计数据，例如发生了多少次 inotify 事件，某文件被访问了多少次等等。

内核参数
        /proc/sys/fs/inotify/ 目录下包含三个文件，分别设置 inotify 相关的三个内核参数。
        max_queued_events：inotify 事件队列可容纳的事件数量，超出的事件被丢弃，但会触发队列溢出Q_OVERFLOW事件。/proc/sys/fs/inotify/max_queued_events默认值16384
        max_user_instances：每个用户可运行的 inotifywait 或 inotifywatch 命令的进程数。/proc/sys/fs/inotify/mak_user_instances默认值128
        max_user_watches：每个 inotifywait 或 inotifywatch 命令可以监控的文件数量。如果监控的文件数目巨大，需要根据情况适当增加此值。/proc/sys/fs/inotify/max_user_watches默认值8192 

事件
inotify 监控的文件系统事件：
access：文件被访问。
modify：文件被修改。
attrib：文件元数据被修改。
open：文件被打开。

move    移动
create：在被监控的目录中创建了文件或目录。
delete：删除了被监控目录中的某个文件或目录。

-m    持续进行监控
-r    递归监控所有子对象
-q    简化输出信息
-e    指定要监控哪些事件类型

inotifywait：用于持续监控，实时输出结果
可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：用于短期监控，任务完成后再输出结果
可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。
例：
inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录

注意：对文件的某个操作往往会触发多个事件，用户应用程序需要自己防止做出重复响应。

 rsync客户端安装inotify-tools

#检查当前系统内核是否支持inotify 内核版本大于2.6.13则支持
uname -r
#安装 在一块不知道为什么 inotify-tools 没有安装上 所以分开进行了安装
yum install -y epel-release
yum install -y inotify-tools
#配置内核参数
#inotify 事件队列可容纳的事件数量，超出的事件被丢弃，但会触发队列溢出Q_OVERFLOW事件。
#/etc/sysctl.conf(内核参数配置文件)，需要配置下面配置
vim /etc/sysctl.conf
###################sysctl.conf######################### 默认值16384
    max_queued_events=16384
#每个用户可运行的 inotifywait 或 inotifywatch 命令的进程数。默认值128
    mak_user_instances=128
#每个 inotifywait 或 inotifywatch 命令可以监控的文件数量。
#如果监控的文件数目巨大，需要根据情况适当增加此值。配置的监控数量应该大于监控目标的总文件数默认值8192
    max_user_watches=8192 
########################################################

 innotify-tools实践

不指定监控事件，分别打开两个 shell 窗口，使用 inotifywait 和 inotifywatch 监控某个目录：

#创建目录
mkdir /var/inotify-test
#监控这个文件有没有发生变化
inotifywait -m /var/inotify-test
 
#显示目录的详细信息
inotifywatch -v /var/inotify-test
 
在目录下面创建两个文件
touch /var/inotify-test/file1
touch /var/inotify-test/file2
 
其中 inotifywait 的信息是在进程运行过程中输出的，而 inotifywatch 的信息是在进程结束时输出的。
以上测试没有指定监听事件，所以监听的是所有的事件，可以通过 -e 选项来指定监听事件，如：
inotifywait -m -e create,modify,delete /var/inotify-test

rsync+inotify-tools实践

vim /opt/inotify_rsynx.sh
#!/bin/bash
#定义两个变量：监控文件，执行备份
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete 需要监控的目录或文件"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
#
#rsync -az --delete /home/backup/project/bak_project rsync_backup@172.16.0.92::backup_e &>/dev/null
 #while read获取监控结果
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
#当读取目录，事件，文件
do 
    #如果rsync没有运行，执行rsync进行备份操作
    if [ $(pgrep rsync | wc -l) -eq 0 ] ; then
        $RSYNC_CMD
	fi
done

加入开机自动执行

chmod +x /etc/rc.d/rc.local
echo '/opt/inotify_rsync.sh' >> /etc/rc.d/rc.local