第六章 Sersync实时同步服务介绍

一、实时同步概述

实时同步是一种只要当前目录发生变化则会触发一个事件,事件触发后会将变化的目录同步至远程服务器

二、实时同步背景

保证数据的连续性, 减少人力维护成本,解决NFS单点故障

三、实时同步数据选择

sersync+RSYNC(√)、inotify+rsync

Inotify是一个通知接口,用来监控文件系统的各种变化,如果文件存取,删除,移动。可以非常方便地实现文件异动告警,增量备份,并针对目录或文件的变化及时作出响应。rsync+inotify可以实触发式实时同步增量备份
	
sersync是国人基于rsync+inotify-tools开发的工具,不仅保留了优点同时还强化了实时监控,文件过滤,简化配置等功能,帮助用户提高运行效率,节省时间和网络资源。

四、安装sersync(NFS服务器)

1.安装sersync和inotify

[root@NFS01 ~]# yum install rsync inotify-tools -y

2.下载sersync软件包

[root@NFS01 ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

3.解压安装包

[root@NFS ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz

4.移动并改名

[root@NFS ~]# mv GNU-Linux-x86 /usr/local/sersync

5.修改配置文件

[root@NFS ~]# cat /usr/local/sersync/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
	#主机IP
    <host hostip="localhost" port="8008"></host>
    #调试模式
    <debug start="false"/>
    <fileSystem xfs="false"/>
    #文件过滤
    <filter start="false">
	<exclude expression="(.*)\.svn"></exclude>
	<exclude expression="(.*)\.gz"></exclude>
	<exclude expression="^info/*"></exclude>
	<exclude expression="^static/*"></exclude>
    </filter>
    #inotify监控配置
    <inotify>
    #inotify监控的行为
	<delete start="true"/>
	<createFolder start="true"/>
	<createFile start="true"/>
	<closeWrite start="true"/>
	<moveFrom start="true"/>
	<moveTo start="true"/>
	<attrib start="true"/>
	<modify start="true"/>
    </inotify>
	#推送部分
    <sersync>
    #本地监控的目录
	<localpath watch="/data">
		#远程IP及模块名字
	    <remote ip="172.16.1.41" name="data"/>
	</localpath>
	<rsync>
		#rsync同步时的参数
	    <commonParams params="-artuz"/>
	    #开启认证
	    <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
	    #如果rsync服务不是873端口,需要开启
	    <userDefinedPort start="false" port="874"/><!-- port=874 -->
	    #超时时间
	    <timeout start="false" time="100"/><!-- timeout=100 -->
	    <ssh start="false"/>
	</rsync>
	#指定错误日志
	<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
	#定时任务,默认600分钟进行一次全备
	<crontab start="false" schedule="600"><!--600mins-->
		#定时任务文件过滤
	    <crontabfilter start="false">
		<exclude expression="*.php"></exclude>
		<exclude expression="info/*"></exclude>
	    </crontabfilter>
	</crontab>
	<plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
	<param prefix="/bin/sh" suffix="" ignoreError="true"/>	<!--prefix /opt/tongbu/mmm.sh suffix-->
	<filter start="false">
	    <include expression="(.*)\.php"/>
	    <include expression="(.*)\.sh"/>
	</filter>
    </plugin>

    <plugin name="socket">
	<localpath watch="/opt/tongbu">
	    <deshost ip="192.168.138.20" port="8009"/>
	</localpath>
    </plugin>
    <plugin name="refreshCDN">
	<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
	    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
	    <sendurl base="http://pic.xoyo.com/cms"/>
	    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
	</localpath>
    </plugin>
</head>

6.创建密码文件

[root@NFS ~]# echo 123456 > /etc/rsync.password
[root@NFS ~]# chmod 600 /etc/rsync.password

7.启动

#查看参数
[root@NFS ~]# /usr/local/sersync/sersync2 -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序

[root@NFS ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml 
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d 	run as a daemon
option: -r 	rsync all the local files to the remote servers before the sersync work
option: -o 	config xml name:  /usr/local/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost	host port: 8008
will ignore the inotify createFile event 
daemon start,sersync run behind the console 
use rsync password-file :
user is	rsync_backup
passwordfile is 	/etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -artuz -R --delete ./ rsync_backup@172.16.1.41::data --password-file=/etc/rsync.password >/dev/null 2>&1 
run the sersync: 
watch path is: /data

五、sersync+NFS实战案例

1.需求

1.恢复快照
2.搭建交作业系统
3.配置挂载数据目录
4.NFS的数据目录实时备份到backup服务器(要求使用sersync)

image

2.环境准备

主机 角色 IP
backup rsync服务端,NFS服务端 172.16.1.41
NFS rsync客户端,NFS服务端 172.16.1.31
web01 rsync客户端,NFS客户端 172.16.1.7,10.0.0.7

3.web01搭载上传作业平台

1.关闭防火墙
[root@web01 ~]# systemctl stop firewalld
[root@web01 ~]# systemctl disable firewalld

2.关闭selinux
[root@web01 ~]# setenforce 0
[root@web01 ~]# vim /etc/selinux/config
SELINUX=disabled

3.安装httpd和php
[root@web01 ~]# yum -y install httpd php

4.上传作业平台代码并解压到指定目录
[root@web01 ~]# rz -bye

[root@web01 ~]# ll
total 36
-rw-------. 1 root root  1350 Jun  9 21:42 anaconda-ks.cfg
-rw-r--r--. 1 root root   497 Aug  5 16:53 hostname_ip.sh
-rw-r--r--  1 root root 26995 Aug 13 16:42 kaoshi.zip
[root@web01 ~]# unzip kaoshi.zip  -d /var/www/html/
Archive:  kaoshi.zip
  inflating: /var/www/html/info.php  
  inflating: /var/www/html/bg.jpg    
  inflating: /var/www/html/index.html  
  inflating: /var/www/html/upload_file.php  

5.修改httpd配置
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf 
User www
Group www

6.创建统一用户
[root@web01 ~]# groupadd  -g 666 www
[root@web01 ~]# useradd -u 666 -g 666 www

7.修改用户权限
[root@web01 ~]# chown -R www:www  /var/www/html/

8.重启服务并验证服务
[root@web01 ~]# systemctl restart httpd
[root@web01 ~]# ps aux |grep http
root      24063  0.8  0.5 314580 12128 ?        Ss   19:49   0:00 /usr/sbin/httpd -DFOREGROUND
www       24064  0.0  0.3 314712  6160 ?        S    19:49   0:00 /usr/sbin/httpd -DFOREGROUND
www       24065  0.0  0.3 314712  6160 ?        S    19:49   0:00 /usr/sbin/httpd -DFOREGROUND
www       24066  0.0  0.3 314712  6160 ?        S    19:49   0:00 /usr/sbin/httpd -DFOREGROUND
www       24067  0.0  0.3 314712  6160 ?        S    19:49   0:00 /usr/sbin/httpd -DFOREGROUND
www       24068  0.0  0.3 314712  6160 ?        S    19:49   0:00 /usr/sbin/httpd -DFOREGROUND
root      24070  0.0  0.0 112708   976 pts/0    R+   19:49   0:00 grep --color=auto http

4.NFS服务器搭建NFS服务端

1.关闭防火墙
[root@NFS ~]# systemctl stop firewalld
[root@NFS ~]# systemctl disable firewalld

2.关闭selinux
[root@NFS ~]# setenforce 0
[root@NFS ~]# vim /etc/selinux/config
SELINUX=disabled

3.安装NFS和rpcbind
[root@NFS ~]# yum -y install  NFS-utils rpcbind

4.配置NFS服务
[root@NFS ~]# vim /etc/exports
/web/data	172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

5.重启服务并验证
[root@NFS ~]# systemctl restart NFS
[root@NFS ~]# cat  /var/lib/NFS/etab 
/web/data	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pNFS,anonuid=666,anongid=666,sec=sys,rw,secure,root_squash,all_squash)

6.创建统一用户
[root@NFS ~]# groupadd -g 666 www
[root@NFS ~]# useradd  -u 666 -g 666 www

7.创建挂载目录并修改权限
[root@NFS ~]# mkdir -p /web/data
[root@NFS ~]# chown -R www:www  /web/data/

5.web01客户端挂载目录

1.安装NFS和rpcbind
[root@web01 ~]# yum -y install  NFS rpcbind

2.启动rpcbind
[root@web01 ~]# systemctl start rpcbind

3.查看挂载点
[root@web01 ~]# showmount  -e 172.16.1.31
Export list for 172.16.1.31:
/web/data 172.16.1.0/24

4.挂载目录
[root@web01 ~]# mount -t NFS 172.16.1.31:/web/data /var/www/html/upload

5.查看挂载点
[root@web01 ~]# df -h
Filesystem             Size  Used Avail Use% Mounted on
/dev/sda3               98G  1.7G   96G   2% /
devtmpfs               980M     0  980M   0% /dev
tmpfs                  991M     0  991M   0% /dev/shm
tmpfs                  991M  9.6M  981M   1% /run
tmpfs                  991M     0  991M   0% /sys/fs/cgroup
/dev/sda1              497M  120M  378M  25% /boot
tmpfs                  199M     0  199M   0% /run/user/0
172.16.1.31:/web/data   98G  1.7G   96G   2% /var/www/html/upload

6.backup搭建rsync服务端

1.关闭防火墙
[root@backup ~]# systemctl stop firewalld
[root@backup ~]# systemctl disable firewalld

2.关闭selinux
[root@backup ~]# setenforce 0         
[root@backup ~]# vim /etc/selinux/config
SELINUX=disabled

3.安装rsync服务
[root@backup ~]# yum -y install rsync

4.配置rsync服务
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections =200
timeout = 600
ignore errors
read only =false
list = true
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = "文件备份目录"
path = /backup

[data]
comment = "数据备份目录"
path = /data

5.创建统一用户
[root@backup ~]# groupadd  -g 666 www
[root@backup ~]# useradd  -u 666 -g 666 www

6.创建密码文件并修改权限
[root@backup ~]# echo  "rsync_backup:123456" >/etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd

7.创建备份目录并修改权限
[root@backup ~]# mkdir /backup 
[root@backup ~]# mkdir /data
[root@backup ~]# chown -R www:www  /backup/
[root@backup ~]# chown -R www:www  /data/

8,重启服务并验证服务
[root@backup ~]# systemctl  restart rsyncd
[root@backup ~]# netstat  -lntp 
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      24097/rsync         
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      6135/rpcbind        
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      7151/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      7291/master         
tcp6       0      0 :::873                  :::*                    LISTEN      24097/rsync         
tcp6       0      0 :::111                  :::*                    LISTEN      6135/rpcbind        
tcp6       0      0 :::22                   :::*                    LISTEN      7151/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      7291/master        

7.NFS数据实时备份到backup服务器

1.安装inotify
[root@NFS ~]# yum install rsync inotify-tools -y

2.上传serdync软件包
[root@NFS ~]# rz -bye

[root@NFS ~]# ll
-rw-r--r--  1 root root 727290 Aug 14 17:15 sersync2.5.4_64bit_binary_stable_final.tar.gz

3.解压安装包
[root@NFS ~]# tar -xf sersync2.5.4_64bit_binary_stable_final.tar.gz 

4.移动并改名
[root@NFS ~]# mv GNU-Linux-x86 /usr/local/sersync 

5.修改配置文件
[root@NFS ~]# vim /usr/local/sersync/confxml.xml 
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>
    <plugin name="command">
        <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>

    <plugin name="socket">
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

6.创建密码文件并设置权限
[root@NFS ~]# echo "123456" >/etc/rsync.password
[root@NFS ~]# chmod 600 /etc/rsync.password 

7.启动数据实时同步
[root@NFS ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml 
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d 	run as a daemon
option: -r 	rsync all the local files to the remote servers before the sersync work
option: -o 	config xml name:  /usr/local/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost	host port: 8008
will ignore the inotify createFile event 
daemon start,sersync run behind the console 
use rsync password-file :
user is	rsync_backup
passwordfile is 	/etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /web/data && rsync -artuz -R --delete ./ rsync_backup@172.16.1.41::data --password-file=/etc/rsync.password >/dev/null 2>&1 
run the sersync: 
watch path is: /web/data

8.backup搭建NFS服务端

1.安装NFS和rpcbind
[root@backup ~]# yum -y install  NFS rpcbind

2.配置NFS服务
[root@backup ~]# vim /etc/exports
/backup	172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

3.重启服务并验证
[root@backup ~]# cat /var/lib/NFS/etab 
/backup	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pNFS,anonuid=666,anongid=666,sec=sys,rw,secure,root_squash,all_squash)

9.测试

1.访问交作业页面,上传图片

2.查看web服务器
[[root@web01 /var/www/html/upload]#  ll
total 48
-rw-r--r-- 1 www www 46257 Aug 14 21:05 1_jh.jpg

3.查看NFS服务器data目录
[root@NFS /web/data]# ll
total 48
-rw-r--r-- 1 www www 46257 Aug 14 21:05 1_jh.jpg

4.查看backup服务器data目录
[root@backup /data]# ll
total 48
-rw-r--r-- 1 www www 46257 Aug 14 21:05 1_jh.jpg

推荐这些文章:

Maven <build>

1. <build>

1.1 <resources>

编译保留 *.propertie s,*.xml

1.2 <plugins>

拷贝config目录
Java 1.8 编译
一般打包(无Spring)
Spring 打包

2. <properties>

编码 编译版本

1. <build>
1.1 <resources>
编译保留 *.propertie s,*.xml
<resource>
<directory>src/main/java</dire...

使用类做为Dictionary<T,K>的key需什么要求?

问题
<P>&nbsp;</P>

最佳回答
没有要求

...

盛趣->盛大

  我看到了一个盛趣的网站运维工作,给我一段准备的时间,我想去试试。——《因为你是范晓萱》
  2、具备基本的网站知识,对于网站的应用框架和环境部署有一定的了解;
  3、对于windows server系统有一定了解,包括IIS安装和配置、防火墙配置等;
  4、对于HTTPS网站和SSL协议有一定的了解;
  5、对于html+css+js有一定基础了解;
  6、对于负载均衡、高可用有一定的了解;
  7、熟悉Linux系统(centOS),包括netstat、awk、curl、ssh、vim、rsync、yum、lsof、find等常规命令;
 
rsync    
它不像...

Exadata 上部署 nfs服务

 
[root@node8 onecommand]# rpm -qa rpcbind*rpcbind-0.2.0-13.el6.x86_64[root@node8 onecommand]# rpm -qa nfs*nfs-utils-1.2.3-75.0.3.el6.x86_64nfs-utils-lib-1.1.5-13.el6.x86_64[root@node8 onecommand]# [root@node8 onecommand]# [root@node8 onecommand]# lsExadataConfigurations image lost+f...

Kickstart文件详细介绍

Kickstart文件中的主要项目及参数介绍:每个项目都由关键字来识别;关键字可跟一个或多个参数;如果某选项后面跟随了一个等号(=),它后面就必须指定一个值。install (可选)明确指定系统次次进行的是全新安装系统;是默认项;cdrom (可选)以本地CD-ROM为源安装系统;harddrive (可选)以硬盘分区中包含的镜像为源(安装树)安装新系统;当以该种方式安装系统时,即使指定clearpart –all项,源所在分区也不会被重新抹去;–partition= 指定分区–dir= 指定包含镜像的目录例:harddrive –partition=/dev/sdb2 –dir=/data...

正则表达式(?<=<(\w+)>).*(?=<\/\1>) 分组

问题
正则表达式(?<=<(\w+)>).*(?=<\/\1>)里面\1代表的是 (\w+) 还是 (?<=<(\w+)>)     ?请解释一下,谢谢!

最佳回答
测试了下   是指 (\w+)

...

常见服务及其端口

常见服务、数据库端口信息
(1) 21    ftp FTP服务器所开放的端口,用于上传、下载
(2) 22    SSH SSH是一种网络协议,用于计算机之间的加密登录
(3) 23    Telnet 用于从本地远程登录对方电脑,可以测试服务器端口是否开启
(4) 25    SMTP 发送邮件
(5) 110  POP3 接收邮件
(6) 80    web 用于网页浏览
(7) 80-89 web &nbs...

linux NFS共享服务

NFS共享存储服务
服务端部署
安装NFS工具包spcbind服务
[root@nfs-31 ~]#yum install nfs-utils spcbind -y

检查rpcbind服务是否运行
[root@nfs-31 ~]#systemctl status rpcbind
● rpcbind.service - RPC bind service
Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
Active: inactive (dead)
...

Linux常用工具服务——rsync、FTP、NFS、SSH、syslog、NTP

一、rsync数据同步服务
1、介绍
Rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于多种操作系统平台。
Rsync具有使本地和远程两台主机之间的数据快速复制同步镜像,远程备份的功能。相对于同类产品,Rsync的同步数据的性能和效率更省一筹。
(1)一个rsync相当于scp、cp、rm,但是还优于这些命令。传统的拷贝工具每次只能进行全部的拷贝,rsync工具除了进行完全拷贝之外,还可以进行增量拷贝。
(2)在同步备份数据时,默认情况下,rsync通过“quick check”算法:仅同步大小或者最后修改时间发生变化的文件或者...

SQL BACKUP [1]- 备份数据库-介绍

SQL BACKUP [1]- 备份数据库-介绍
1、描述:备份完整的 SQL Server 数据库以创建数据库备份,或者备份数据库的一个或多个文件或文件组以创建文件备份 (BACKUP DATABASE)。 另外,在完整恢复模式或大容量日志恢复模式下备份数据库事务日志以创建日志备份 (BACKUP LOG)。
2、语法:

--备份整个数据库--Backing Up a Whole Database
BACKUP DATABASE { database_name | @database_name_var }
TO <backup_device> [ ,...n ]
[ ...

文章标题:第六章 Sersync实时同步服务介绍
文章链接:https://www.dianjilingqu.com/51380.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>