linux多服务器之间的目录文件同步

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

转载声明:转载请注明出处,本技术博客是本人原创文章

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

原文链接:blog.ouyangsihai.cn >> linux多服务器之间的目录文件同步

点击上方”python宝典”,关注获取python全套视频,

技术文章第一时间送达!

一、rsync是什么

在开始正式学习rsync之前,我们先来回答这个问题:rsync是什么。

rsync(remote synchronize)是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录,并适当利用rsync算法(差分编码)以减少数据的传输。

rsync算法并不是每一次都整份传输,而是只传输两个文件的不同部分,因此其传输速度相当快。

除此之外,rsync可拷贝、显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。

二、rsync的工作原理

1、客户端构造FileList,FileList包含了需要与服务器同步的所有文件信息对name-id(id用来唯一表示文件例如MD5)。

2、客户端将FileList发送到服务器。

3、服务器上rsync处理客户端发过来的FileList,构建新的NewFileList。其中根据MD5值比较,删除服务器上已经存在的文件信息对,只保留服务器上不存在或变化的文件。

4、客户端得到服务器发送过来的NewFileList,然后把NewFileList中的文件重新传输到服务器。

三、rsync优点

rsync有以下几个优点:

1)可以镜像保存整个目录树和文件系统。

2)可以很容易做到保持原来文件的权限、时间、软硬连接等。

3)无需特殊权限即可安装。

4)拥有优化的流程和比较高的文件传输效率。

5)可以使用shell(rsh、ssh)方式来传输文件。

6)支持匿名运行。

7)与scp相比,rsync传输速度绝对远远超过scp的传输速度。

我们在局域网中经常用rsync和scp传输大量mysql数据库文件,发现rsync传输文件速度至少要比scp快20倍以上。

所以如果需要在Liunx/Unix服务器之间互传海量数据时,建议选择rsync进行传输。

四、rsync认证方式

rsync有两种常用的认证方式,一种是rsync-daemon方式,另外一种是ssh方式。在平时使用过程,我们使用最多的是rsync-daemon方式。

注意:在使用rsync时,服务器和客户端都必须安装rsync程序。

五、开始实践

web1:10.80.11.243
web2:10.80.11.244
code:10.80.11.245
更新code服务器的代码后,自动同步到web1和web2,删除code服务器文件,web1和web2也删除
服务器端的安装(N台WEB都这样配置)

1、首先要求Linux内核在2.6以上,才支持inotify


[root@web1 html]# uname -a
Linux web1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:35 EDT 2010 i686 i686 i386 GNU/Linux

2、检查是否安装rsync软件


[root@web1 html]# rpm -qa |grep rsync
rsync-2.6.8-3.1
如果没有的话,通过yum –y install rsync安装

3、新建rsync配置文件,该软件安装默认没有配置文件


#vim /etc/rsyncd.conf
motd file = /etc/rsyncd.motd
uid=root
gid=root
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
log format =  %t %a %m %f %b
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
timeout = 300


[tongbu]
path=/var/www/html
list=yes
comment = this is comment
ignore errors = yes
read only = no
hosts allow = 10.80.11.245
hosts deny = *
auth users backup
secrets file = /etc/rsyncd.secrets

注:tongbu为发布模块,相当于路径的别名


hosts allow是只允许连接的IP
secrets file = /etc/rsyncd.secrets
这是密码文件,同步的用户为backup,下面创建同步用户
#useradd backup
#passwd backup
#vim /etc/rsyncd.secrets
backup:123456
格式为
用户名:密码
#chmod 600 /etc/rsyncd.secrets
设置只有root用户才能查看这个文件

4、启动服务


/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

其他的WEB服务器配置和上面是一样的。如果需要开机启动,加入到/etc/rc.local

发布端的配置

1、发布端主要利用开源软件sersync,

网站为:

http://code.google.com/p/sersync/


#cd /usr/local/
#wget http://sersync.googlecode.com/files/sersync2.5RC1_32bit_binary.tar.gz
#tar –zxvf sersync2.5RC1_32bit_binary.tar.gz
#cd GNU-Linux-x86

2、修改配置文件


#vim confxml.xml
?xml version="1.0" encoding="ISO-8859-1"?
head version="2.5"
    host hostip="localhost" port="8008"/host
    filter start="false"
         exclude expression="(.*).gz"/exclude
         exclude expression="^info/*"/exclude
    /filter
    inotify
         delete start="true"/
         create start="true"/
    /inotify
    debug start="false"/
    sersync
         localpath watch="/var/www/html"
             remote ip="10.80.11.243" name="tongbu"/
             remote ip="10.80.11.244" name="tongbu"/
         /localpath
         rsync
             auth start="true" users="backup" passwordfile="/etc/rsync.pas"/
             userDefinedPort start="false" port="874"/!-- port=874 --
             timeout start="false" time="100"/!-- timeout=100 --
             ssh start="false"/
         /rsync
         failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/!--default every 60min execute once--
         crontab start="false" schedule="600"!--600mins--
             crontabfilter start="false"
                   exclude expression="*.php"/exclude
                   exclude expression="info/*"/exclude
             /crontabfilter
         /crontab
         plugin start="false" name="command"/
    /sersync

    plugin name="command"
         param prefix="/bin/sh" suffix="" ignoreError="true"/        !--prefix /opt/tongbu/mmm.sh suffix--
         filter start="false"
             include expression="(.*).php"/
             include expression="(.*).sh"/
         /filter
    /plugin

    plugin name="socket"
         localpath watch="/opt/tongbu"
             deshost ip="192.168.138.20" port="8009"/
         /localpath
    /plugin
    plugin name="refreshCDN"
         localpath watch="/data0/htdocs/cms.xoyo.com/site/"
             cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/
             sendurl base="http://pic.xoyo.com/cms"/
             regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/
         /localpath
    /plugin

/head

/var/www/html为发布服务器的源码发布目录
主要修改红色标记部分,密码文件为/etc/rsync.pas


#vim /etc/rsync.pas
123456#
解释:123456代表的是Rsync server端的密码,并且要以"#"做结尾。如果有多个密码,增加多行就行。
#chmod 600 /etc/rsync.pas

3、启动服务


#./sersync2 -d –r

这种方式常驻进程,如果需要开机启动,加入到/etc/rc.local
这样只要修改发布服务器/var/www/html的文件,web服务器就会自动同步。

附录二:rsyncd.conf文件注释

全局参数


uid = root//运行RSYNC守护进程的用户

gid = root//运行RSYNC守护进程的组

use chroot = no //不使用chroot

max connections = 4 // 最大连接数为4

strict modes =yes//是否检查口令文件的权限

port = 873//默认端口873

模块参数


[backup] //这里是认证的模块名,在client端需要指定

path = /home/backup///需要做镜像的目录,不可缺少!

comment = This is a test //这个模块的注释信息

ignore errors//可以忽略一些无关的IO错误

read only = yes// 只读

list = no //不允许列文件

auth users = hening //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关

secrets file = /etc/rsync.pas //密码和用户名对比表,密码文件自己生成

hosts allow = 192.168.1.1, 10.10.10 .10//允许主机

hosts deny = 0.0.0 .0/0 //禁止主机

#transfer logging = yes

注释:下面这些绿色文件是安装完RSYNC服务后自动生成的文件


pid file = /var/run/rsyncd.pid//pid文件的存放位置

lock file = /var/run/rsync.lock //锁文件的存放位置

log file = /var/log/rsyncd.log//日志记录文件的存放位置 

原文链接:

https://blog.csdn.net/fclwd/article/details/61191519

linux多服务器之间的目录文件同步

识别图中二维码,欢迎关注python宝典

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

转载声明:转载请注明出处,本技术博客是本人原创文章

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

原文链接:blog.ouyangsihai.cn >> linux多服务器之间的目录文件同步