RSYNC 特点
1.可以镜像保存整个目录树和文件系统;
2.可以很容易做到保持原来文件的权限、时间、软硬链接等;
3.无须特殊权限即可安装;
4.优化的流程,文件传输效率高;
5.可以使用 rsh、ssh 等方式来传输文件,当然也可以通过直接的 socket 连接;
6.支持匿名传输。

一、架设 RSYNC server 端
1. 建立 rsync 目录

$ Yum install rsync-2.6.8-3.1
$ mkdir /etc/rsyncd
$ touch /etc/rsyncd/rsyncd.conf
$ touch /etc/rsyncd/rsyncd.secrets
$ chmod 600 /etc/rsyncd/rsyncd.secrets

2. 建立 rsync 目录

$ vi /etc/rsyncd/rsyncd.conf
pid file = /var/run/rsyncd.pid     #rsync 的进程号文件
port = 873                         #端口
address = 192.168.1.100            #服务器的 IP
uid = root                         #用户名默认是 nobody
gid = root                      #用户组
use chroot = yes                #允许 chroot,开启这个安全,需要用 root 用户
#read only = yes                  #只读。
hosts allow=192.168.1.0/255.255.255.0 10.0.0.0/255.255.255.0
hosts deny=*                          #访问控制
max connections = 5                   #客户端的最大连接数。
#motd file = /etc/rsyncd/rsyncd.motd #定义服务器显示的信息。
#LOG
log file = /var/log/rsync.log        #日志文件
transfer logging = yes                #传输文件日志。
log format = %t %a %m %f %b           #日志格式
syslog facility = local3
timeout = 300
[test_mod]                               #定义模块
path = /rsync_test                    #指定文件目录
list=yes                              #显示目录结构。
ignore errors                         #忽略 IO 错误
#auth users = test                     #认证用户,这个用户必须是服务器上的。
#secrets file = /etc/rsyncd/rsyncd.secrets    #密码文件。
read only = no                              #读写
comment = test home                         #注释
#exclude = beinan/ samba/                     #排除的目录,目录之间有空格。
注: 关于 auth users 是必须在服务器上存在的真实的系统用户,如果你想用多个用户,那就以,号隔开;比如 auth users = test , test1

3. 设置用户名:密码

Vi /etc/rsyncd/rsyncd.secrets
#用户名:密码
test:test

4. 启动 RSYNC 服务端

Rsync --daemon --config=/etc/rsyncd/rsyncd.conf

5. 测试:客户端去服务端同步文件

Rsync -avz --delete --progress –password-file=/etc/rsyncd/rsync.password

test@192.168.1.100:: test_mod/ file
File 是你客户端存放服务文件断的目录
test_mod 是你 rsync server 设置的模块名。
测试:从客户端推送文件到服务端。

Rsync -avz --delete --progress --password-file=/etc/rsyncd/rsync.password file test@192.168.1.100::test_mod/

File 是你客户端要同步给服务端的目录
test_mod 是你 rsync server 设置的模块名。

二、在客户端安装 inotify 服务
下载地址:http://inotify-tools.sourceforge.net/
2.1 inotify 安装

wget http://sourceforge.net/projects/inotify-tools/files/inotify- \
tools/3.13/inotify-tools-3.13.tar.gz/download
tar zxvf inotify-tools-3.13.tar.gz
cd inotify-tools-3.13
./configure
make
make install

2.2 inotify 详解
inotify 可以监视的文件系统事件包括:
IN_ACCESS,即文件被访问
IN_MODIFY,文件被 write
IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可写文件被 close
IN_CLOSE_NOWRITE,不可写文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移来,如 mv、cp
IN_CREATE,创建新文件
IN_DELETE,文件被删除,如 rm
IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
IN_UNMOUNT,宿主文件系统被 umount
IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所说的文件也包括目录。

2.3 运行 inotify 设置监控目录
/usr/local/bin/inotifywait -mrq –timefmt ‘%d/%m/%y %H:%M’ –format ‘%T
%w %e %f’ -e delete,close_write,moved_to /rsync_test/
–timefmt 时间的格式
–format 输出的格式
-m 保持一直监听
-r 是递归查看目录
-q 是打印出事件
-e 监听的事件,详情请看(2.2 inotify 详解)
当你往/rsync_test/目录里添加删除文件时。这个 shell 里就会有输出信息。

2.4 根据 inotify 的输出信息,运行 rsync 的脚本
Vi rsync_inotifywait.sh

#!/bin/bash
RSYNC_SERVER_IP=192.168.1.100
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T
%w %e %f' -e delete,close_write,moved_to /rsync_test/ | while read file
do
	echo ${file} >> /var/log/inotifywait.log
	RSYNC_FILE=`echo ${file} | awk '{print $3$5}'`
	RSYNC_DIRECTORY=`echo ${file} | awk '{print $3}'`
	state=`echo ${file} | awk '{print $4}'`

	case "${state}" in
		CREATE )
			echo "---------CREATE-----------"
			( rsync -avz --delete --progress --password-file=/etc/rsyncd/rsync.password ${RSYNC_FILE} test@${RSYNC_SERVER_IP}::test_mod/ ) &
			echo "---------CREATE-----------"
		;;

		DELETE )
			echo "---------DELETE-----------"
			( rsync -avz --delete --progress --password-file=/etc/rsyncd/rsync.password ${RSYNC_DIRECTORY} test@${RSYNC_SERVER_IP}::test_mod/ ) &
			echo "---------DELETE------------"
		;;

		CLOSE_WRITE,CLOSE )
			echo "---------CLOSE_WRITE--------"
			( rsync -avz --delete --progress --password-file=/etc/rsyncd/rsync.password ${RSYNC_FILE} test@${RSYNC_SERVER_IP}::test_mod/ ) &
		echo "---------CLOSE_WRITE--------"
		;;

		MOVED_TO )
			echo "-------MOVED_TO----------"
			( rsync -avz --delete --progress --password-file=/etc/rsyncd/rsync.password ${RSYNC_FILE} test@${RSYNC_SERVER_IP}::test_mod/ ) &
			echo "-------MOVED_TO---------"
		;;

		* )
			echo "-------NO UPDATE--------"
			echo "NO UPDATE"
			echo "-------NO UPDATE--------"
		;;
	esac
done
set +

运行这个脚本后。他就会时时监控这个目录的变化。有变更就会把数据推到 rsync server 上。
如果要同步多台 server 上请修改脚本。

经常要合并日志，将前端的服务器上的日志合并到一起用于分析数据。为了加快传输速度每次传输都将前端的日志先gzip压缩，然后同步到日志服务器上，再将所有的日志解压整合到一个文件里，然后再压缩（最后一步压缩为了节省日志服务器的空间）。

日志少还可以，慢慢的日志越来越多每次合并需要很长时间。

新方法：
用cat输出压缩文件重定向到另一个gz文件里就可以合并。最后还可以解压出来，不丢任何数据。

cat *.gz >> all.gz