返回
软件
分类

必赢备用网址所以可以实现快速的同步数据的功能,rsync是一款很不错的文件同步工作

日期: 2020-01-02 08:20 浏览次数 : 124

实现目标:

rsync是一个非常优秀的同步软件他可以实现windows 与windows主机之间数据同步,也可以实现windows 与linux或其它服务器实现数据同步,下面我来介绍在linux下实现目录文件同步配置实例

rsync是一款很不错的文件同步工作,他不但可以实现windows机器之间的文件同步还可以实现不同操作系统工程之的文件同步,下面我来介绍在linux中rsync实现文件同步技巧。

A 服务器上 /opt/web 目录,与B服务器上 /opt/web目录实现同步。即:B主动与A进行同步。

rysnc是一个数据镜像及备份工具,具有可使本地和远程两台主机的文件,目录之间,快速同步镜像,远程数据备份等功能。在同步过程中,rsync是根据自己独特的算法,只同步有变化的文件,甚至在一个文件里只同步有变化的部分,所以可以实现快速的同步数据的功能。

实现目标:
服务器A与服务器B同步备份,这里只说明服务器A同步到服务器B,服务器B还原到服务器A。
考虑安全因素,使用普通用户进行同步。
使用cronjob,定时同步。

OS: Reaht AS4

第一种:依赖ssh服务同步目录

A 服务器上/opt/web 目录,与B客户端服务器上/opt/web目录实现同步。即:B主动与A进行同步。(A的文件会同步到B机器上)

A Server 192.168.1.2 /opt/web
B Server 192.168.1.3 /opt/web

rsync -aSvH /home/N22/test1/* /home/N22/test2/

 代码如下

一. A Server config
yum -y install xinetd

参数解释:

复制代码

1.rsync 系统自带, 需要使用 –deamon 方式进行启动,服务端口是 TCP 873

a 等同于 -rlptgoD 归档模式,就是保持文件所有属性、权限不变
S 有效的处理零散文件
v verbose模式
H 保持hard links

OS: Reaht AS4
A Server  192.168.0.100 /opt/web
B Server  192.168.0.60 /opt/web

  1. vi /etc/xinetd.d/rsync 修改 disable =yes 为 disable =no ,修改后的文件如下

上面这个表示 将本机的/home/N22/test1/目录下所有的文件,同步到/home/N22/test2/目录下。这种方式我只能同步新增和更新,不能同步删除,不知道原因,修改为

一.  A Server config

# default: off
# description: The rsync server is a good addition to an ftp server, as it
# allows crc checksumming etc.
service rsync
{
disable = no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}

rsync -aSvH –delete /home/N22/test1/* /home/N22/test2/

1.安装服务

  1. service xinetd restart,重启 xinted 服务

  2. 编辑主要配置文件 /etc/rsyncd.conf

时,虽然添加了delete仍然不能同步删除的文件。

 代码如下

vi /etc/rsyncd.conf

和其它服务器同步时,需要账户和密码:rsync -aSvH /home/* [email protected]:/home/

复制代码

uid = nobody
gid = nobody
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log

第二种:服务器和客户端

yum install xinetd
yum install rsync

[web]
path = /opt/web
ignore errors
read only = true
list = false
hosts allow = 192.168.0.0 # 允许的IP地址
hosts deny = 0.0.0.0/32 # 禁止的IP 地址
auth users = backup # 认证用户名,此例是 backup
secrets file = /etc/backup.pass #认证用户的密码文件

经过测试,这种服务器和客户端的配置能完美解决删除文件和目录的同步功能。

  1. vi /etc/xinetd.d/rsync  修改 disable =yes 为 disable =no ,修改后的文件如下

5 编辑服务器的密码文件 /etc/backup.pass
vi /etc/backup.pass
backup:123456

服务器端配置:

 代码如下

  1. chmod 400 /etc/backup.pass

1、rysnc一般是通过xinetd进行启动的。

复制代码

二. B Server config

必赢备用网址 ,修改/etc/xinetd.d/rsync,只修改一个地方
# default: off
# description: The rsync server is a good addition to am ftp server, as it
#       allows crc checksumming etc.
service rsync
{
disable = yes  修改为disable = no
socket_type     = stream
wait            = no
user            = root
server          = /usr/bin/rsync
server_args     = –daemon
log_on_failure  += USERID

# default: off
# description: The rsync server is a good addition to an ftp server, as it
#       allows crc checksumming etc.
service rsync

  1. 编辑rsync连接时的密码文件 /etc/rsync_client.pass
    vi /etc/rsync_client.pass
    123456 # 只需要配置连接时使用的密码即可,必须与A服务器上定义的密码相同.

  2. chmod 600 /etc/rsync_client.pass

  3. 使用 rsync 命令连接服务器,实现文件同步
    rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass [email protected]::web /opt/web

  4. 使用 –execlude= 排除不需要同步的文件后缀名
    rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude=”*.tmp” [email protected]::web /opt/web

  5. 使用 –execlude-from= 排除不需要同步的目录
    [[email protected] opt]# rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude-from=/opt/pcdir [email protected]::web /opt/web

}

{
disable = no
socket_type     = stream
wait            = no
user            = backup
server          = /usr/bin/rsync
server_args     = –daemon
log_on_failure  += USERID
}

/opt/pcdir 文件的内容如下
cat /opt/pcdir
temp/

2、接下来编辑配置文件

  1. 编辑主要配置文件/etc/rsyncd.conf (不存在则自己创建)

参数说明
-vzrtopg里的
v是verbose,
z是压缩,
r是recursive,
topg都是保持文件原有属性如属主、时间的参数
—-progress
是指显示出详细的进度情况
–delete
是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致
–exclude=”*.tmp”
不包含某些文件
–execlude-from= 排除不需要同步的目录
–password-file
指定CLIENT端密码文件存放路径
/opt/web/
指定CLIENT端存放镜象目的路径

[[email protected] ~] # vi /etc/rsyncd.conf
uid = nobody

 代码如下

选项说明

gid = nobody

复制代码

-v, –verbose 详细模式输出
-q, –quiet 精简输出模式
-c, –checksum 打开校验开关,强制对文件传输进行校验
-a, –archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, –recursive 对子目录以递归模式处理
-R, –relative 使用相对路径信息

use chroot = no

vi /etc/rsyncd.conf
uid = backup
gid = backup
use chroot = no                   # 不使用chroot
max connections = 4              # 最大连接数为4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log        # 日志记录文件
[web]                                 # 这里是认证的模块名,在client端需要指定
path = /opt/web                      # 需要做镜像的目录
ignore errors                        # 可以忽略一些无关的IO错误
read only = true                      # 只读
list = false                          # 不允许列文件
hosts allow = 192.168.0.0  # 允许的IP地址
hosts deny = 0.0.0.0/32    # 禁止的IP 地址
auth users = backup        # 认证的用户名,如果没有这行,则表明是匿名
secrets file = /etc/backup.pass  #认证用户的密码文件 认证文件名

rsync foo/bar/foo.c remote:/tmp/

max connections = 4

  1. 编辑服务器的密码文件 /etc/backup.pass,文件只能有可读权限 400

则在/tmp目录下创建foo.c文件,而如果使用-R参数:

pid file = /var/run/rsyncd.pid

 代码如下

rsync -R foo/bar/foo.c remote:/tmp/

lock file = /var/run/rsyncd.lock

复制代码

则会创建文件/tmp/foo/bar/foo.c,也就是会保持完全路径信息。

log file = /var/log/rsyncd.log

vi /etc/backup.pass         #文件格式如下
backup:123456
chmod 400 /etc/backup.pass

-b, –backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。
–backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, –update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, –links 保留软链结
-L, –copy-links 想对待常规文件一样处理软链结
–copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
–safe-links 忽略指向SRC路径目录树以外的链结
-H, –hard-links 保留硬链结
-p, –perms 保持文件权限
-o, –owner 保持文件属主信息
-g, –group 保持文件属组信息
-D, –devices 保持设备文件信息
-t, –times 保持文件时间信息
-S, –sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, –dry-run现实哪些文件将被传输
-W, –whole-file 拷贝文件,不进行增量检测
-x, –one-file-system 不要跨越文件系统边界
-B, –block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, –rsh=COMMAND 指定替代rsh的shell程序
–rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, –cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
–existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
–delete 删除那些DST中SRC没有的文件
–delete-excluded 同样删除接收端那些被该选项指定排除的文件
–delete-after 传输结束以后再删除
–ignore-errors 及时出现IO错误也进行删除
–max-delete=NUM 最多删除NUM个文件
–partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
–force 强制删除目录,即使不为空
–numeric-ids 不将数字的用户和组ID匹配为用户名和组名
–timeout=TIME IP超时时间,单位为秒
-I, –ignore-times 不跳过那些有同样的时间和长度的文件
–size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
–modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
-T –temp-dir=DIR 在DIR中创建临时文件
–compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 –partial
–progress 显示备份过程
-z, –compress 对备份的文件在传输时进行压缩处理
–exclude=PATTERN 指定排除不需要传输的文件模式
–include=PATTERN 指定不排除而需要传输的文件模式
–exclude-from=FILE 排除FILE中指定模式的文件
–include-from=FILE 不排除FILE指定模式匹配的文件
–version 打印版本信息
–address 绑定到特定的地址
–config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
–port=PORT 指定其他的rsync服务端口
–blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
–progress 在传输时现实传输过程
–log-format=formAT 指定日志文件格式
–password-file=FILE 从FILE中得到密码
–bwlimit=KBPS 限制I/O带宽,KBytes per second
-h, –help 显示帮助信息

[web]

5.启动服务
首次启动rsync

: A 服务器上 /opt/web 目录,与B服务器上 /opt/web目录实现同步。即:B主动与A进行同步。 OS: Reaht AS4 A Server 192.168.1.2 /opt/web B Server 192...

path = /opt/web

 代码如下

ignore errors

复制代码

read only = true

rsync –daemon –config=/etc/rsyncd.conf

list = false

如果提示

hosts allow = 192.168.0.5  # 允许的IP地址

 代码如下

hosts deny = 0.0.0.0/32    # 禁止的IP 地址

复制代码

auth users = backup        # 认证用户名,此例是 backup

failed to create pid file /var/run/rsyncd.pid: File exists

secrets file = /etc/backup.pass #认证用户的密码文件

使用指令

3、编辑服务器的密码文件 /etc/backup.pass

 代码如下

vi /etc/backup.pass

复制代码

backup:123456

rm -rf /var/run/rsyncd.pid

4、然后设置权限chmod 400 /etc/backup.pass

用以下命令查看rsync是否已经运行:netstat -an|grep 873

客户端配置

 代码如下

  1. 编辑rsync连接时的密码文件 /etc/rsync_client.pass

复制代码

vi /etc/rsync_client.pass

[[email protected] web]# netstat -an|grep 873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN
tcp        0      0 :::873                      :::*                        LISTEN

123456                    # 只需要配置连接时使用的密码即可,必须与A服务器上定义的密码相同.

重启已经在运行的rsync

  1. chmod 600 /etc/rsync_client.pass

  2. 使用 rsync 命令连接服务器,实现文件同步

 代码如下

rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass [email protected]::web /opt/test

复制代码

  1. 使用 –execlude= 排除不需要同步的文件后缀名

[[email protected] video]# ps -ef | grep rsync
root     27284     1  0 10:26 ?   00:00:00 rsync –daemon –config=/etc/rsyncd.conf
root     30516 29986  0 18:35 pts/3    00:00:00 grep rsync
[[email protected] video]# kill -9 27284
[[email protected] video]# rsync –daemon –config=/etc/rsyncd.conf
service xinetd restart,重启 xinted 服务
rsync 系统自带, 需要使用 –deamon 方式进行启动,服务端口是 TCP 873
rsync –deamon –config=/etc/rsyncd.conf

rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude=”*.tmp” [email protected]::web /home/test

如果要在启动时把服务起来,有几种不同的方法,比如:
a、加入inetd.conf
编辑/etc/services,加入rsync   873/tcp,指定rsync的服务端口是873
编加/etc/inetd.conf,加入rsync  stream  tcp   nowait  backup  /bin/rsync rsync –daemon
b、加入rc.local
在各种操作系统中,rc文件存放位置不尽相同,可以修改使系统启动时rsync –daemon加载进去。

  1. 使用 –execlude-from= 排除不需要同步的目录

二. B Server  config 1.  yum install rsync  安装rsync服务
2. 创建rsync连接时的密码文件/etc/rsync_client.pass,所放目录自己随意安排,文件权限为只读400
vi /etc/rsync_client.pass #文件格式如下:
 #只需要配置连接时使用的密码即可,必须与A服务器上定义的密码相同.

rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude-from=/opt/pcdir [email protected]::web /home/test

 代码如下

6、定时同步

复制代码

#vi rsyncd.sh

chmod 400 /etc/rsync_client.pass

rsync -aSvH  –delete –password-file=/home/N22/rsync_client.pass [email protected]::web /home/N22/test2/

  1. 使用 rsync 命令连接服务器,实现文件同步

#crontab -e
01 04 * * * /etc/rsyncd.sh
每天凌晨4点01分执行

 代码如下

 

复制代码

与windows主机之间数据同步,也可以实现windows 与linux或其它服务器实现数据同步,下面我来...

rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass [email protected]::web /opt/web

PS:目录同步时要保存相同的文件属主信息,需要在B服务器上创建相同的用户

 代码如下

复制代码

rsync -qcazrtopgl –progress –delete –password-file=/etc/rsync_client.pass –exclude=”*.gz” –exclude-from=/opt/pcdir [email protected]::web /opt/web

backup为认证用户名;
192.168.0.100为服务器端IP;
Web为模块名;
/opt/web 为本地的目录
三.定时任务

 代码如下

复制代码

[[email protected] admin_backups]# vi backup.sh

内容如下:

 代码如下

复制代码

#/bin/sh
rsync -qcazrtopgl –progress –delete –password-file=/etc/rsync_client.pass –exclude=”*.gz” –exclude-from=/opt/pcdir [email protected]::web /opt/web

添加定时任务:

 代码如下

复制代码

[[email protected] admin_backups]# crontab –e

添加以下内容:

 代码如下

复制代码

*/1 * * * * /home/admin/admin_backups/backup.sh > /dev/null 2>&1

每个一分钟从服务器A同步到服务器B!

  1. 使用 –execlude= 排除不需要同步的文件后缀名

 代码如下

复制代码

rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude=”*.tmp”

[email protected]::web /opt/web

  1. 使用 –execlude-from= 排除不需要同步的目录

 代码如下

复制代码

[[email protected] opt]# rsync -vzrtopg –progress –delete –password-file=/etc/rsync_client.pass –exclude-from=/opt/pcdir [email protected]::web /opt/web

/opt/pcdir 文件的内容如下
cat /opt/pcdir
temp/
参数说明
-vzrtopg里的
v是verbose,
z是压缩,
r是recursive,
topg都是保持文件原有属性如属主、时间的参数
—-progress
是指显示出详细的进度情况
–delete
是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致
–exclude=”*.tmp”               不包含某些文件
–execlude-from=        排除不需要同步的目录
/opt/web/
指定CLIENT端存放镜象目的路径

...