• rsync远程同步


    rsync:是一个开源的快速备份工具,可以在不同主机之间同步整个目录

    在远程同步任务中,一个叫源端,一个是发起端。

    rsync的特点

    在同步中,源端负责文件的原始位置,发起端和源端的文件同步

    拷贝文件,链接文件也可也拷贝,拷贝设备

    可以保持源文件或者目录的权限不变。包括时间、软硬连接、所有者、所在组等均可以保持不变。

    可以实现增量同步,只同步发生变化的数据,数据传输的效率很高。

    支持匿名认证

    rsync的同步方式

    1、 第一次同步都是完整备份

    2、 往后的同步都是增量备份(差异备份),只同步变化的数据。

    rsync命令的选项

    rsync -r:递归模式,目录包含子目录里面所有文件

    rsync -l:复制链接文件,软连接

    rsync -v:显示同步过程中的详细信息

    rsync -z:传输时进行压缩

    rsync -a:归档模式,可以保留文件的权限、属性等等

    rsync -p:保留文件的权限标记(所有者和所在组)

    rsync -t:保留时间标记(时间戳)

    rsync -g:保留文件的所在组(必须是管理员才能操作)

    rsync -o:保留文件的所有者(必须是管理员才能操作)

    rsync -H:保留硬连接

    rsync -D:保留设备文件和其他特殊文件

    rsync --delete:可以删除目标位置有,但是原始位置没有的文件

    rsync的配置方法

    下行同步:从源端同步到客户端

    上行同步:从客户端同步到源端

    源端:20.0.0.20

    发起端:20.0.0.30

    下行同步

    1. 源端配置:
    2. vim /etc/rsyncd.conf
    3. uid = root
    4. gid = root
    5. use chroot = yes
    6. #禁锢在源目录
    7. address = 20.0.0.20
    8. #设置监听地址
    9. port 873
    10. #监听端口
    11. log file = /var/log/rsyncd.log
    12. #指定日志文件的位置
    13. hosts allow = 20.0.0.0/24
    14. #指定可以访问服务端的地址
    15. dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
    16. #以上述后缀名结尾的文件,同步时不再压缩
    17. #配置共享模块目录以及用户名密码
    18. [test]
    19. path = /opt/test
    20. comment = test
    21. read only = no
    22. #是否是只读模式
    23. auth users = backuper
    24. #用户名
    25. secrets file = /etc/rsyncd_users,db
    26. #保存密码的位置
    27. vim /etc/rsyncd_users.db
    28. backuper:123456
    29. #声明用户名和密码
    30. chmod 600 /etc/rsyncd_users.db
    31. #赋权
    32. mkdir test
    33. chmod 777 test/
    34. rsync --daemon
    35. netstat -antp | grep rsync
    36. kill $(cat /var/run/rsyncd.pid)
    37. #杀死进程文件
    38. 如果删除pid文件需要使用kill -9杀进程号
    39. 开始下行同步:
    40. cd test/
    41. touch 123 456 456
    42. echo 123 > 123
    43. echo 456 > 456
    44. echo 789 > 789
    45. 到客户端
    46. rsync -avz backuper@20.0.0.20::test /opt
    47. #rsync:开头。发起同步的命令
    48. #-avz:a保留文件权限,v显示详细过程,z同步过程中对文件进行压缩
    49. #backuper@20.0.0.20::test:test是模块名称
    50. #/opt:本机的目录
    51. ls查看一下
    52. 文件都已经同步
    53. 回到主机在创建一个文件000
    54. 再回到客户端查看
    55. 在客户端声明
    56. echo "123456" > /etc/server.pass
    57. chmod 600 /etc/server.pass
    58. echo 456 >> 123
    59. rsync -avz --password-file=/etc/server.pass backuper@20.0.0.20::test /opt
    60. #免密交换
    61. 上行同步:
    62. cat /proc/sys/fs/inotify/max_queued_events
    63. #监控事件队列
    64. cat /proc/sys/fs/inotify/max_user_instances
    65. #最多监控的实例数
    66. cat /proc/sys/fs/inotify/max_user_watches
    67. #每个实例最多监控的文件数
    68. vim /etc/sysctl.conf
    69. fs.inotify.max_queued_events = 16384
    70. fs.inotify.max_user_instances = 1024
    71. fs.inotify.max_user_watches = 1048576
    72. sysctl -p
    73. #立即生效
    74. cd /inotify
    75. ./configure
    76. make && make install
    77. inotify通知接口,可以用来监控文件系统的各种变化情况。文件存取、删除、移动、修改。都可以被监控
    78. inotify机制和rsync配合在使用,既可以通知变化,也可也实现同步
    79. 测试监控事件
    80. mkdir test
    81. inotifywait -mrq -e modify,create,move,delete /opt/test/
    82. #-m表示持续监控
    83. #-r:递归整个目录
    84. #-q:信息提示
    85. #-q:指定监控的事件。多个事件使用逗号隔开
    86. cd /opt/test
    87. touch 123
    88. echo 123 > 123
    89. mv 123 456
    90. rm -rf 456
    91. #监控事件
    92. mkdir data
    93. cd data/
    94. touch gq wdf wh yst
    95. cd /opt
    96. chmod 777 data/
    97. rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@20.0.0.20::test/
    98. #实现上行同步
    99. 可以写一个上行同步和监控的脚本让他们一起执行
    100. vim inotify.sh
    101. #!/bin/bash
    102. CMD="inotifywait -mrq -e modify,create,move,delete /opt/data/"
    103. rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@20.0.0.20::test/
    104. $CMD | while read DIRECTORY EVENT FILE
    105. do
    106. if [ $(pgrep rsync | wc-l) -le 0 ]
    107. then
    108. $rsync_cmd
    109. fi
    110. done
    111. chmod 777 inotify.sh
    112. chmod +x /etc/rc.d/re.local
    113. echo '/opt/inotify.sh' >> /etc/rc.d/re.local
    114. crontab -u root -e
    115. * * */2 * * /opt/inotify.sh
    116. #一般设置两天到三天
    117. 到这里就已经实现了既实现了监控又实现了同步
    118. 在文件数量较多的情况下,比如百万和千万级别的文件,rm -rf*速度很慢
    119. 此时rsync可以实现快速删除大量文件
    120. mkidr /home/blank
    121. rsync --delete-before -a -H -v --progress --stats /home/blank /opt/test1
    122. #--delete-before:在传输过程中进行删除。
    123. #-a:归档模式
    124. #-H:硬连接
    125. #-v:输出过程信息
    126. #--progress:在传输时显示传输过程
    127. #--stats:给出文件的传输状态
    128. 源端和客户端必须一模一样
  • 相关阅读:
    MySQL进阶1:基础查询
    Peter算法小课堂—归并排序
    RocketMQ的介绍和环境搭建
    JS优化技巧
    高精度加法(C语言实现)
    [论文评析]Continuous weight balancing, ICLR,2021
    如何理解my_map.yaml中origin的含义
    pc与android设备进行通信
    VLAN技术 — Super VLAN
    pytorch PythonAPI torch.....................
  • 原文地址:https://blog.csdn.net/m0_75209491/article/details/134433449