龙空技术网

安装keepalived+nginx

anyux1 1496

前言:

此时姐妹们对“centos指定广播地址”大体比较关心,朋友们都想要学习一些“centos指定广播地址”的相关知识。那么小编在网摘上收集了一些对于“centos指定广播地址””的相关文章,希望大家能喜欢,咱们一起来了解一下吧!

安装keepalived+nginx

操作系统为CentOS7,两台lvs,两台web服务器

ip服务备注192.168.255.130lvs+keepalivedlb01192.168.255.140lvs+keepalivedlb02192.168.255.111nginxweb01192.168.255.112nginxweb02192.168.255.200

虚拟ip

访问流程图如下:

从上图可以看出,用户访问虚拟ip 192.168.255.200,即使Master节点故障,Slave节点也可以提供转发服务

Master机器负责将用户的请求转发到后端web节点,可以设置算法指定转发方式,通过配置keepalived保证了转发机器的高可用性

组件的安装

两台lb节点都需要安装配置keepalived与ipvsadm

keepavlied保证故障切换

ipvsadm管理负载均衡数据

安装ipvsadm

 yum install -y ipvsadm

安装后就可以配置lvs集群,首先在Master节点绑定虚拟ip 192.168.255.200

 ifconfig ens33:0 192.168.255.200 netmask 255.255.255.255 broadcast 192.168.255.200 up

此处在ens33设备上绑定了一个虚拟设备ens:33,同时设置了一个虚拟IP是192.168.255.200,也就是上面我们规划的IP地址,然后指定广播地址也为192.168.255.200,需要特别注意的是,这里的子网掩码为255.255.255.255

然后给设备ens:33指定一条路由,执行如下指令:

 route add -net  0.0.0.0 gw 192.168.255.2 route del -net 0.0.0.0 gw 192.168.255.200 route del -net 192.168.255.200 netmask 255.255.255.0 gw 192.168.255.200 dev ens33:0 ip -f inet addr add 192.168.255.200/32 dev ens33:0 ip -f inet addr delete 192.168.255.200/32 dev ens33:0

启动系统数据转发功能,将系统当作路由器使用

 echo "1" >>/proc/sys/net/ipv4/ip_forward

参数1表示开启转发,0表示禁止转发,NAT模式下,必须开启,DR模式下非必须

载入sysctl配置文件

 sysctl -p

配置ipvs

 ipvsadm -C ipvsadm -A -t 192.168.255.200:80 -s wrr  ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1 ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 1 ipvsadm

ipvsadm -C 表示清除LB内核虚拟服务器所有记录

ipvsadm -A 表示增加新的虚拟ip记录,虚拟ip为192.168.255.200

ipvsadm -a 表示在虚拟ip的基础上添加真实ip,指定lvs的工作方式为路由模式

重启LVS服务

 ipvsadm

状态如下

安装 keepalived

 yum install -y keepalived

配置keepalived

 vim /etc/keepalived/keepalived.conf

配置解释:

 ! Configuration File for keepalived  global_defs {    notification_email {      acassen@firewall.loc#设置报警邮件地址,可以设置多个,每行一个。      failover@firewall.loc#需开启本机的sendmail服务      sysadmin@firewall.loc    }    notification_email_from a.c@firewall.loc #设置邮件的发送地址    smtp_server 127.0.0.1 #设置smtp server地址    smtp_connect_timeout 30#设置连接smtp server的超时时间    router_id LVS_DEVEL#表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息    vrrp_skip_check_adv_addr    vrrp_strict    vrrp_garp_interval 0    vrrp_gna_interval 0 }  vrrp_instance VI_1 {    state MASTER#指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器    interface ens33#指定HA监测网络的接口    virtual_router_id 51 #虚拟路由标识,这个标识是一个数字,同一个vrrp实例使用唯一的标识。即同一vrrp_instance下,MASTER和BACKUP必须是一致的    priority 100 #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级    advert_int 1#设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒    authentication { #设置验证类型和密码        auth_type PASS#设置验证类型,主要有PASS和AH两种        auth_pass 1111#设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信    }    virtual_ipaddress {#设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个         192.168.255.200    } }  virtual_server 192.168.255.200 80 {#设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开    delay_loop 6 #设置运行情况检查时间,单位是秒    lb_algo rr#设置负载调度算法,这里设置为rr,即轮询算法    lb_kind NAT#设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选    persistence_timeout 50#会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话的保持时间。需要注意的是,这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果50秒内没有执行任何操作。那么接下来的操作会被分发到另外的节点,但是如果用户一直在操作动态页面,则不受50秒的时间限制    protocol TCP指定转发协议类型,有TCP和UDP两种     real_server 192.168.255.111 80 {#配置服务节点1,需要指定real server的真实IP地址和端口,IP与端口之间用空格隔开        weight 1#配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值大小可以为不同性能的服务器,分配不同的负载,可以为性能高的服务器设置较高的权值,而为性能较低的服务器设置相对较低的权值,这样才能合理地利用和分配系统资源        SSL_GET {            url {              path /              digest ff20ad2481f97b1754ef3e12ecd3a9cc            }            url {              path /mrtg/              digest 9b3a0c85a887a256d6939da88aabd8cd            }            connect_timeout 3#表示3秒无响应超时            nb_get_retry 3#表示重试次数            delay_before_retry 3#表示重试间隔        }    }    real_server 192.168.255.112 80 {#配置服务节点1,需要指定real server的真实IP地址和端口,IP与端口之间用空格隔开        weight 1#配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值大小可以为不同性能的服务器,分配不同的负载,可以为性能高的服务器设置较高的权值,而为性能较低的服务器设置相对较低的权值,这样才能合理地利用和分配系统资源        SSL_GET {            url {              path /              digest ff20ad2481f97b1754ef3e12ecd3a9cc            }            url {              path /mrtg/              digest 9b3a0c85a887a256d6939da88aabd8cd            }            connect_timeout 3#表示3秒无响应超时            nb_get_retry 3#表示重试次数            delay_before_retry 3#表示重试间隔        }    } } 

配置实例如下

 ! Configuration File for keepalived  global_defs {    router_id LVS_DEVEL } vrrp_script check_ng {    script "/root/check_keepalived.sh"    interval 2 } vrrp_instance VI_1 {    state MASTER    interface ens33    virtual_router_id 51     priority 100    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {         192.168.255.200    }    track_script {        check_ng    } }  virtual_server 192.168.255.200 80 {    delay_loop 6     lb_algo rr    lb_kind NAT    persistence_timeout 50    protocol TCP     real_server 192.168.255.111 80 {        weight 1        SSL_GET {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3        }    }    real_server 192.168.255.112 80 {        weight 1        SSL_GET {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3        }    } } 

配置脚本/root/check_keepalived.sh

 #!/bin/bash  if [ `ps -C keepalived --no-header | wc -l `  -lt 3 ] ;then pkill keepalived echo `date '+%Y-%m-%d %T'` "已kill keepalived" >> /root/keepalived.log fi  exit 0

为防止中文出现字符集问题,需要在vim设置

 set fileencodings=utf-8,gbk,ucs-bom,cp936

使用dos2unix转换windows与linux系统文件中的差异

 yum install -y dos2unix dos2unix keepalived.conf

keepalived.conf配置文件需要保持格式,即将参数与大括号({)保持一个空格

对于Slave节点,只需要将state设置为BACKUP,将priority改为50

web服务器配置安装nginx

 yum install -y nginx net-tools

注意,为区别web01,web02,在不同的页面中返回数据不同

分别在web01,web02输入不同的内容

web01

 echo 1 > /usr/share/nginx/html/index.html

web02

 echo 2 > /usr/share/nginx/html/index.html

配置lo网口

配置网络,执行web.sh

 #!/bin/bash #description: Config realserver  VIP=192.168.255.200  /etc/rc.d/init.d/functions  case "$1" in start)        /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP        /sbin/route add -host $VIP dev lo:0        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce        sysctl -p >/dev/null 2>&1        echo "RealServer Start OK"        ;; stop)        /sbin/ifconfig lo:0 down        /sbin/route del $VIP >/dev/null 2>&1        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce        echo "RealServer Stoped"        ;; *)        echo "Usage: $0 {start|stop}"        exit 1 esac  exit 0

执行脚本

 sh web.sh start

查看web01的lo网卡,已经包含了192.168.255.200这个ip

启动keepalived

  service keepalived start

查看lvs状态

 ipvsadm -L
测试高可用

删除lb01的虚拟ip

 ip addr del 192.168.255.200/24 dev ens33:0

添加lb02的虚拟ip

 ip addr add 192.168.255.200/24 dev ens33:0

向内网广播

 arping -I ens33 -c 1 -U 192.168.255.200
lvs节点健康检查

脚本1有输出信息,可以在测试环境下运行,脚本2简洁有力,没有输出信息,调试完成后,可用于生产环境

脚本1可以写入定时任务,脚本2做为后台进程运行

脚本1

 #!/bin/bash PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin ip01='192.168.255.111' ip02='192.168.255.112' vip='192.168.255.200' port=80  arping -I ens33 -c 1 -U ${vip} web01() {    curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" $ip01 } web02() {   curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" $ip02 } ipvs_web01=$(ipvsadm -Ln | grep $ip01 | wc -l) ipvs_web02=$(ipvsadm -Ln | grep $ip02 | wc -l) checknum=1 checkloop=4 if [ $(web01) -eq 200 ]; then   if [ $ipvs_web01 -eq 0 ]; then    ipvsadm -a -t $vip:$port -r $ip01:$port -g -w 1     if [ $? -eq 0 ]; then       echo `date '+%Y-%m-%d %T' ` "$ip01上线"     fi   else     echo `date '+%Y-%m-%d %T' ` "$ip01正常"   fi else   if [ $ipvs_web01 -eq 1 ]; then     while [ $checknum -le $checkloop ]; do       if [ $(web01) -eq 200 ]; then        break       else        let checknum++       fi       if [ $checknum -eq 3 ]; then        ipvsadm -d -t $vip:$port -r $ip01:$port         if [ $? -eq 0 ]; then           echo `date '+%Y-%m-%d %T' ` "$ip01下线"         fi       fi       sleep 1     done   fi fi  if [ $(web02) -eq 200 ]; then   if [ $ipvs_web02 -eq 0 ]; then    ipvsadm -a -t $vip:$port -r $ip02:$port -g -w 1     if [ $? -eq 0 ]; then       echo `date '+%Y-%m-%d %T' ` "$ip02上线"     fi   else     echo `date '+%Y-%m-%d %T' ` "$ip02正常"   fi else   if [ $ipvs_web02 -eq 1 ]; then     while [ $checknum -le $checkloop ]; do       if [ $(web02) -eq 200 ]; then        break       else        let checknum++       fi       if [ $checknum -eq 3 ]; then        ipvsadm -d -t $vip:$port -r $ip02:$port         if [ $? -eq 0 ]; then           echo `date '+%Y-%m-%d %T' ` "$ip02下线"         fi       fi       sleep 1     done   fi fi 

脚本2

 #!/bin/bash VIP='192.168.255.200' PORT=80 RIP=('192.168.255.111' '192.168.255.112') log=/root/lvs_check2.log  while true do   for ((i=0;i<`echo ${#RIP[*]}`;i++))   do     code=`curl -I -m 10 -o /dev/null -s -w %{http_code} {RIP[$i]}`     if [ $code -ne 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -eq 1 ]     then ipvsadm -d -t $VIP:$PORT -r ${RIP[$i]}:$PORT     echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 已下线" >> ${log}     elif [ $code -eq 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -lt 1 ]     then ipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 已上线" >> ${log}     elif [ $code -eq 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -eq 1 ]     then  echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 正常" >> ${log}     fi   done sleep 5 done

配置定时任务(脚本1)

创建脚本文本/root/lvs_check.sh,并将脚本1内容写入到文件中,添加执行权限

 chmod +x /root/lvs_check.sh

编辑定时任务

 * * * * * /root/lvs_check.sh &>>/root/lvs_check.log 2>&1

监控文件

如果文件中有关于web01,web02信息,则表明定时任务运行成功

 tail -f /root/lvs_check.log

如下图,下图是将web01关闭后显示的内容,只有web02正常运行。图片中ARPING的三行内容是广播命令的输出,即每一分钟发送一次广播,以防止MAC丢失

以进程形式运行(脚本2)

注意,使用脚本2时,需要清除脚本1的定时任务

创建脚本文本/root/lvs_check2.sh,并将脚本2内容写入到文件中,添加执行权限

 chmod +x /root/lvs_check2.sh

执行脚本

 sh /root/lvs_check2.sh &

查看后台脚本进程

 ps -ef | grep [l]vs_check2

关闭后台脚本进程

 kill `ps -ef | grep [l]vs_check2 | awk '{print $2}'`

监控日志文件

 tail -f /root/lvs_check2.log
问题总结请求vip超时
 #检查backup机器是否配置了ipvsadm模块 ifconfig ens33:0 192.168.255.200 netmask 255.255.255.255 broadcast 192.168.255.200 up
端口访问超时
 #再重新配置ipvsadm模块 ipvsadm -C ipvsadm -A -t 192.168.255.200:80 -s rr  ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1 ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 2 ipvsadm  #先重启keepalived模块 service keepalived restart
清除arp记录

windows下

 arp -d

linux下

 arping -I ens33 -c 1 -U 192.168.255.200
测试vip漂移

主节点关闭keepavlied

 service keepalived stop

在备节点检查是否有vip

 ip a | grep inet

访问vip节点

 curl 192.168.255.200

恢复主节点

重新配置lvs规则

 ipvsadm -C ipvsadm -A -t 192.168.255.200:80 -s rr  ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1 ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 2 ipvsadm

在主节点,重启keepalived

 service keepalived start

访问vip节点

 curl 192.168.255.200

标签: #centos指定广播地址 #linux中安装nginx112