一、rsync命令介绍
rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。
rsync有以下几个优点：
1）可以镜像保存整个目录树和文件系统。
2）可以很容易做到保持原来文件的权限、时间、软硬连接等。
3）无需特殊权限即可安装。
4）拥有优化的流程和比较高的文件传输效率。
5）可以使用shell（rsh、ssh）方式来传输文件。
6）支持匿名运行。
7）与scp相比，rsync传输速度绝对远远超过scp的传输速度。
我们在局域网中经常用rsync和scp传输大量mysql数据库文件，发现rsync传输文件速度至少要比scp快20倍以上。所以如果需要在Liunx/Unix服务器之间互传海量数据时，建议选择rsync进行传输。
二、rsync的认证方式
rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。
第一种: ssh
rsync在ssh认证方式下，可通过系统用户进行认证，即在rsync上通过ssh隧道进行传输，类似于scp工具。此时同步操作不在局限于rsync中定义的同步文件夹。
注意：ssh认证方式，不需要服务器和客户端配置rsync配置文件，只需要双方都安装rsync服务，并且也不需要双方启动rsync。
接下来就可以在客户端使用rsync命令来上传本地httpd软件包到112.74.99.130的root目录下，SSH方式是通过系统用户来进行操作的，如下：
|
1 2 3 4 5 6 7 8 9 10 11 |
$ rsync -avz /root/httpd-2.4.12.tar.gz root@112.74.99.130:/root/ The authenticity of host '112.74.99.130 (112.74.99.130)' can't be established. RSA key fingerprint is 78:44:20:41:64:e1:fa:a3:cd:70:88:a3:38:13:b0:37. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '112.74.99.130' (RSA) to the list of known hosts. root@112.74.99.130's password: sending incremental file list httpd-2.4.12.tar.gz sent 6855893 bytes received 31 bytes 415510.55 bytes/sec total size is 6853506 speedup is 1.00 |
第二种: rsync-daemon
rsync在rsync-daemon认证方式下，默认监听TCP的873端口。rsync-daemon认证方式是rsync的主要认证方式，这个也是我们经常使用的认证方式。并且也只有在此种模式下，rsync才可以把密码写入到一个文件中。
注意：rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件。客户端启动不启动rsync服务，都不影响同步的正常进行。另外，rsync软件无论是服务器端还是客户端都是同一个软件包。
三、rsync-daemon模式运行
1. rsync安装
|
1 2 3 4 5 6 |
$ yum install rsync $ rpm -ql rsync /etc/xinetd.d/rsync /usr/bin/rsync /usr/share/doc/rsync-3.0.6 .................... |
通过上面可以很明显的看到rsync确实被安装到了/usr/bin目录下。并且rsync在安装时生成的/etc/xinetd.d/rsync文件。在CentOS 6下rsync默认以xinetd方式运行rsync服务（顺时守护进程），所以RPM方式安装的话rsync，我们只需启动xinet服务即可。但是在启动xinetd服务之前，我们还需要配置文件/etc/xinetd.d/rsync，设置disable=no，如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 |
$ cat /etc/xinetd.d/rsync service rsync { disable = no flags = IPv6 socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon --config=/etc/rsyncd.conf log_on_failure += USERID } |
配置完毕后，我们还需要安装xinetd软件包，否则无法启动xinetd服务。如下：
|
1 2 3 4 5 6 7 8 |
$ yum install xinetd $ service xinetd start Starting xinetd: [ OK ] $ chkconfig xinetd on $ chkconfig | grep rsync rsync: on $ netstat -anplt | grep 873 tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 14306/xinetd |
2. rsync命令参数使用
- 语法
|
1 2 3 4 5 6 7 |
rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]host:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... [USER@]HOST::SRC DEST rsync [OPTION]... SRC [USER@]HOST::DEST rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] |
对应于以上六种命令格式，rsync有六种不同的工作模式：
1）拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。如：
|
1 |
rsync -a /data /backup |
2）使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。如：
|
1 |
rsync -avz *.c root@192.168.78.192::www |
3）使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。如：
|
1 |
rsync -avz root@192.168.78.192::www /data |
4）从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。如：
|
1 |
rsync -av 192.168.78.192::www /databack |
5）从本地机器拷贝文件到远程rsync服务器中，当DST路径信息包含”::”分隔符时启动该模式。如：
|
1 |
rsync -av /databack 192.168.78.192::www |
6）列出远程机的文件列表，这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：
|
1 |
rsync -v rsync://192.168.78.192/www |
其中第四种和第五种模式没有多大的区别，在这几种模式中第三种和第六种模式是我们经常使用的，特别是第三种模式。
- 选项
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 |
-v, --verbose #详细模式输出。 -q, --quiet #精简输出模式。 -c, --checksum #打开校验开关，强制对文件传输进行校验。 -a, --archive #归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。 -r, --recursive #对子目录以递归模式处理。 -R, --relative #使用相对路径信息。 -b, --backup #创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。 --backup-dir #将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX #定义备份文件前缀。 -u, --update #仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件。 -l, --links #保留软链接。 -L, --copy-links #想对待常规文件一样处理软链接。 --copy-unsafe-links #仅仅拷贝指向SRC路径目录树以外的链接。 --safe-links #忽略指向SRC路径目录树以外的链接。 -H, --hard-links #保留硬链接。 -p, --perms #保持文件权限。 -o, --owner #保持文件属主信息。 -g, --group #保持文件属组信息。 -D, --devices #保持设备文件信息。 -t, --times #保持文件时间信息。 -S, --sparse #对稀疏文件进行特殊处理以节省DST的空间。 -n, --dry-run #现实哪些文件将被传输。 -w, --whole-file #拷贝文件，不进行增量检测。 -x, --one-file-system #不要跨越文件系统边界。 -B, --block-size=SIZE #检验算法使用的块尺寸，默认是700字节。 -e, --rsh=command #指定使用rsh、ssh方式进行数据同步。 --rsync-path=PATH #指定远程服务器上的rsync命令所在路径信息。 -C, --cvs-exclude #使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件。 --existing #仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件。 --delete #删除那些DST中SRC没有的文件。 --delete-excluded #同样删除接收端那些被该选项指定排除的文件。 --delete-after #传输结束以后再删除。 --ignore-errors #及时出现IO错误也进行删除。 --max-delete=NUM #最多删除NUM个文件。 --partial #保留那些因故没有完全传输的文件，以是加快随后的再次传输。 --force #强制删除目录，即使不为空。 --numeric-ids #不将数字的用户和组id匹配为用户名和组名。 --timeout=time #ip超时时间，单位为秒。 -I, --ignore-times #不跳过那些有同样的时间和长度的文件。 --size-only #当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间。 --modify-window=NUM #决定文件是否时间相同时使用的时间戳窗口，默认为0。 -T --temp-dir=DIR #在DIR中创建临时文件。 --compare-dest=DIR #同样比较DIR中的文件来决定是否需要备份。 -P #等同于--partial, --progress显示备份过程。 -z, --compress #对备份的文件在传输时进行压缩处理。 --exclude=PATTERN #指定排除不需要传输的文件模式。 --include=PATTERN #指定不排除而需要传输的文件模式。 --exclude-from=FILE #排除FILE中指定模式的文件。 --include-from=FILE #不排除FILE指定模式匹配的文件。 --version #打印版本信息。 --address #绑定到特定的地址。 --config=FILE #指定其他的配置文件，不使用默认的rsyncd.conf文件。 --port=PORT #指定其他的rsync服务端口。 --blocking-io #对远程shell使用阻塞IO。 -stats #给出某些文件的传输状态。 --progress #在传输时现实传输过程。 --log-format=formAT #指定日志文件格式。 --password-file=FILE #从FILE中得到密码。 --bwlimit=KBPS #限制I/O带宽，KBytes per second。 |
四、rsync服务器端配置文件
rsync服务器端需要两个配置文件：rsyncd.conf、rsyncd.password。
其中rsyncd.conf默认存放在/etc/目录下（需要自己创建），同时它也是rsync服务器的主配置文件。该文件配置了rsync服务器的控制认证、访问、日志记录等等。而rsyncd.password主要用于存储rsync用户名和密码。
但是在rsync安装完毕后后是不会生成以上这两个配置文件的，需要我们手工进行创建。对于主配置文件为“/etc/rsyncd.conf”，创建该文件并插入如下内容：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
$ cat /etc/rsyncd.conf uid=root gid=root max connections=4 log file=/var/log/rsyncd.log pid file=/var/run/rsyncd.pid lock file=/var/run/rsyncd.lock hosts allow = 172.16.0.0/255.255.0.0,172.18.0.0/255.255.0.0 #只允许某些IP访问服务器，也可以定义在每个标签中; #hosts deny=172.16.78.0/255.255.0.0 #拒绝某些IP访问服务器，默认拒绝所有，所以这里我随意写了一个IP段; [data] comment= backup web path=/data read only = no auth users=work secrets file=/etc/rsyncd.passwd |
创建密码文件，采用这种方式不能使用系统用户对客户端进行认证，所以需要创建一个密码文件，其格式为“username:password”，用户名可以和密码可以随便定义，最好不要和系统帐户一致，同时要把创建的密码文件权限设置为600，这在前面的模块参数做了详细介绍。
|
1 2 3 4 5 |
$ echo "work:abc123" > /etc/rsyncd.passwd $ chmod 600 /etc/rsyncd.passwd $ service xinetd restart Stopping xinetd: [ OK ] Starting xinetd: [ OK ] |
完成以上工作，现在客户端就可以把数据上传到服务器端进行备份了，如下：
服务器端（112.74.99.130）
|
1 |
$ touch /data/ |
客户端（172.16.17.240）
|
1 2 3 4 5 6 7 8 |
$ touch /data/1.txt $ rsync -avz --progress --delete /data work@112.74.99.130::data Password: sending incremental file list 1.txt sent 62 bytes received 27 bytes 178.00 bytes/sec total size is 0 speedup is 0.00 |
注意：这里的::data就是/etc/rsyncd.conf配置文件中[data]标签，另外如果path路径下/data有多个路径，只需要在::data/path指定即可。
恢复数据，当客户端的数据出现问题时，那么这时就需要通过服务端的数据对客户端进行恢复，但前提是客户端允许服务端有写入权限，否则也不能在服务端直接对客户端进行恢复，使用rsync对数据进行恢复的方法如下：
|
1 |
$ rsync -avz --progress work@112.74.99.130::data /data/ |
如果你是做定时同步或备份任务的话，一直在交互式模式手动输入密码也不太现实。所以，可以使用–password-file参数指定一个文件，文件中写入密码就可以了，这个文件的权限也必须是600。
|
1 |
$ rsync -avz --progress work@112.74.99.130::data /data/ --password-file=/etc/rsyncd.password |
rsync配置文件的具体参数可以看官网：https://rsync.samba.org/ftp/rsync/rsyncd.conf.html
