龙空技术网

mysql主从

JAVA架构前端技术 1581

前言:

此刻我们对“mysql集群mysql主从”大约比较重视,各位老铁们都需要分析一些“mysql集群mysql主从”的相关知识。那么小编同时在网摘上收集了一些关于“mysql集群mysql主从””的相关文章,希望朋友们能喜欢,同学们快快来学习一下吧!

1、本章面试题

什么是mysql主从,主从有什么好处

什么是读写分离,有什么好处,使用mycat如何实现

2、知识点

2.1、课程回顾

dubbo ORM->MVC->RPC->SOA

provider consumer registry monitor

负载均衡,容错,降低(倍权,半权)

2.2、本章重点

mysql 主从好处,原理,实现过程

mycat 简介,主要作用,读写分离配置

3、具体内容

3.1 mysql主从配置

3.1.1 好处

负载均衡 :业务量增大时,I/O读写频率变高,单机可能无法满足需求,使用主从,让从服务器分担读压力,实现负载均衡

数据备份 : 传统的备份,都是本地备份,但是存在弊端,无法防止服务器本身出问题,配置主从,可以把本地数据备份到其他服务器

提高可用性 : 一旦主服务器出现问题,可以直接使用从服务器进行更新或者查询

3.1.2 原理

1,主服务器(master)进行写操作时,会把所有的更新语句以二进制日志(binary log)的形式存储

2,从服务器(slave)中有一个i/o线程,会读取主服务器上的二进制日志文件到中继文件中(relay log)

3, 从服务器(slave)中另外一个sql线程,会读写中继文件中的语句,执行并持久化到从服务器的数据库文件中,从而实现了主从复制的功能

3.1.3 实现

配置规划: 创建两台虚拟机

mysql-master1 192.168.23.51 主服务器(master)

mysql-slave1 192.168.23.52 从服务器(slave)

参考linux课件中的虚拟机克隆,克隆出一台23的机子,安装mysql

1)克隆两台虚拟机,成功安装mysql

安装mysql:

查看已经安装mysql组件:(centos6.9 需要卸载原来的mysql组件)

yum list installed | grep mysql

卸载:

yum -y remove mysql-libs.x86_64

如果wget没有安装

yum -y install wget

下载yum源

wget

安装yum源

rpm -ivh mysql-community-release-el6-5.noarch.rpm

查看yum源中mysql有效版本

yum repolist all | grep mysql

使用下载yum源安装

yum install mysql-community-server -y

查看mysql服务是否启动

service mysqld status

启动mysql服务

service mysqld start

mysql设置密码和远程连接配置

登录mysql

mysql -uroot -p 回车,让输入密码,默认密码为空,再次回车,就可以登录

mysql -uroot -p 回车, 让输入密码,默认密码为空,再次回车,就可以登录

mysql>show databases; 查看所有数据库

mysql>use mysql; 选择使用mysql库

mysql>show tables; 显示所有表

mysql>update user set password=password('tiger') where user='root'; 更新root的密码为tiger

mysql>flush privileges; 刷新权限

mysql> exit; 退出

mysql -uroot -ptiger 再次登录

使用navicat连接时,报错:

mysql>update user set host='%' where host='127.0.0.1'; 修改本地访问为% %代表统配符,可以远程访问

mysql>flush privileges; 刷新权限

已经安装好的m1克隆一台s1

使用上面讲过的克隆方法,再克隆一个s1

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改ipadd

wq保存退出

vim /etc/hostname 修改主机名称 mysqls1

reboot;

使用xshell连接,测试mysql是否能成功启动

service mysqld status 查看状态

mysql -uroot -ptiger 登录

使用navicat测试

2) 主从配置

master:

主服务器上修改配置文件,添加日志操作

vim /etc/my.cnf

修改第12行 binary.log 日志文件名称可以随便起

log_bin=binary_log

添加一行当前服务器唯一识别

server-id=23

重启服务,让修改生效

service mysqld restart

登录mysql

mysql -uroot -ptiger

查看master状态

show master status;

slave:

vim /etc/my.cnf

添加一行

server-id=24

重启服务,让修改生效

service mysqld restart

登录mysql

mysql -uroot -ptiger

关闭slave(第一次操作不需要,但是以后如果修改该服务器为其他服务的从节点时,需要先停止slave服务)

stop slave;

配置当前服务器为master服务器的从机

change master to master_host='192.168.23.23',master_user='root',master_password='tiger',master_log_file='binary_log.000001',master_log_pos=120;

启动slave

start slave;

查看slave的状态

show slave status \G;

没有错最好(两台机子都全新安装mysql),克隆时,会报下面错误:

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

原因因为克隆机子,两边的sever-uuid完全一致,所以错误

cat /var/lib/mysql/auto.cnf

解决办法:

从机上先停掉服务

service mysqld stop;

删除server-uuid配置文件

rm -rf /var/lib/mysql/auto.cnf

再次启动服务:

service mysqld start;

再次查看,不同,就解决问题:

cat /var/lib/mysql/auto.cnf

登录mysql

mysql -uroot -ptiger

启动slave

start slave;

查看slave的状态

show slave status \G;

主从都可以执行:

show processlist \G;

3) 测试

使用navicat在m1主机上创建库,查看s1上是否有库

在m1创建表, 在s1查看是否存在:

create table tb_testa(

tid int primary key auto_increment,

name varchar(20) not null,

sex int

);

在m1执行添加语句,在s1查看效果:

insert into tb_testa values(null,'zhangsan',1);

insert into tb_testa values(null,'lisi',2);

查看文件位置是否变化:

master:

show master status;

slave:

show slave status \G;

3.2 mycat 双主双从,读写分离

3.2.1,集群规划:

3.2.2,克隆出m2和s2 做双主双从配置

关闭szqy07-mysql-m1 作为克隆的原始服务器 克隆出szqy07-mysql-m2和szqy07-mysql-s2

直接关闭m1

poweroff

使用前面学的知识,克隆

m2:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改ip addr 为25

vim /etc/hostname

修改主机名称为 mysqlm2

rm -rf /var/lib/mysql/auto.cng

reboot 重启

s2:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改ip addr 为26

vim /etc/hostname

修改主机名称为 mysqls2

rm -rf /var/lib/mysql/auto.cng

reboot 重启

使用xshell进行连接,配置主从

先配置m2和s2的主从

m2:

vim /etc/my.cnf

日志文件已经修改,修改server-id=25

重启mysql服务:

service mysqld restart

登录mysql:

mysql -uroot -ptiger

显示master状态:

show master status;

s2:

vim /etc/my.cnf

日志文件可以删除,修改server-id=26

重启mysql服务:

service mysqld restart

登录mysql:

mysql -uroot -ptiger

先停止原有的slave服务

stop slave

配置主服务器

change master to master_host='192.168.23.25',master_user='root',master_password='tiger',master_log_file='binary_log.000004',master_log_pos=120;

启动slave

start slave;

显示slave状态:

show slave status \G;

测试:

使用navicat连接,测试m2删除库,创建库,创建表,插入语句,s2是否有变化

配置m1和m2互为主从:

m1:

登录mysql

mysql -uroot -ptiger

显示master状态

show master status;

先停止原有的slave服务

stop slave

配置主服务器

change master to master_host='192.168.23.25',master_user='root',master_password='tiger',master_log_file='binary_log.000004',master_log_pos=1120;

启动slave

start slave;

显示slave状态:

show slave status \G;

m2:

登录mysql

mysql -uroot -ptiger

显示master状态

show master status;

先停止原有的slave服务

stop slave

配置主服务器

change master to master_host='192.168.23.23',master_user='root',master_password='tiger',master_log_file='binary_log.000002',master_log_pos=120;

启动slave

start slave;

显示slave状态:

show slave status \G;

m1和m2都需要加配置:

m1执行更新时,m2和s1都会变化,因为m2和s1都是它的从机,想让s2随着m2的数据变化而变化,就需要在m2加入下面配置

vim /etc/my.cnf 加入下面配置

log-slave-updates

m2执行更新时,m1和s2都会变化,因为m1和s2都是它的从机,想让s1随着m2的数据变化而变化,就需要在m1加入下面配置

vim /etc/my.cnf 加入下面配置

log-slave-updates

重启m1和m2的mysqld服务

service mysqld restart

m1,m2,s1,s2都执行

登录mysql

mysql -uroot -ptiger

显示slave状态:

show slave status \G;

测试:

m1和m2,执行任意更新操作时,其他3台都会发生变化

m1创建库 test_dbc 其他3台都有

m2创建表 ,其他3台都有

create table tb_testc(

tid int primary key auto_increment,

name varchar(20),

sex int

)

3.2.3,什么是mycat,有什么特点

官网:

Mycat数据库分库分表活跃的、性能好的开源数据库中间件,基于阿里开源的Cobar产品而研发,Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点,站在巨人的肩膀上,我们能看到更远。

一个彻底开源的,面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

Mycat 原理:

Mycat 的原理中最重要的一个动词是“拦截”,它拦截了用户发送过来的 SQL 语句,首先对 SQL 语句做了 一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此 SQL 发往后端的真实数据库, 并将返回的结果做适当的处理,最终再返回给用户。

3.2.5,什么是读写分离,有什么好处

读写分离就是数据的更新(insert udpate delete 等等)和查询(select等)让不同的数据库服务器执行。

数据库读写分离对于大型系统或者访问量(并发量)很高的互联网应用来说,是必不可少的一个重要功能。 从数据库的角度来说,对于大多数应用来说,从集中到分布,最基本的一个需求不是数据存储的瓶颈,而是在于计算的瓶颈,即SQL查询的瓶颈,我们知道,正常情况下,Insert SQL就是几十个毫秒的时间内写入完成,而系统中的大多数Select SQL则要几秒到几分钟才能有结果,很多复杂的SQL,其消耗服务器CPU的能力超强,不亚于死循环的威力。在没有读写分离的系统上,很可能高峰时段的一些复杂SQL查询就导致数据库服务器CPU爆表,系统陷入瘫痪,严重情况下可能导致数据库崩溃。

3.2.4 ,克隆出mycat,下载安装配置mycat,实现读写分离,自动故障切换和读的负载均衡

使用xftp上传到虚拟机里面

ls 查看

tar -xzf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr 解压

ls /usr

cd /usr/mycat 进入目录

pwd 查看当前目录

配置环境变量:

vim /etc/profile 在文件JAVA_HOME下加上

export MYCAT_HOME=/usr/mycat

export PATH=$JAVA_HOME/bin:$PATH:$MYCAT_HOME/bin

wq保存退出

source /etc/profile 让配置生效

echo $MYCAT_HOME 测试

server.xml 几乎保存了所有 mycat 需要的系统配置信息,配置登录mycat的用户名,密码,端口号和逻辑数据库名称

cd /usr/mycat 进入mycat目录

vim conf/server.xml

复制33行到31下(yy p) 去除9066 留下8066 配置mycat访问的端口号

注意观察81行后的配置,可以看到使用的用户,密码和逻辑数据库名称

Schema.xml 作为 MyCat 中重要的配置文件之一,管理着 MyCat 的逻辑库、表、分片规则、DataNode 以 及 DataSource。

<dataNode> dataNode 标签定义了 MyCat 中的数据节点,也就是我们通常说所的数据分片。一个 dataNode 标签就是 一个独立的数据分片。

<dataHost>作为 Schema.xml 中最后的一个标签,该标签在 mycat 逻辑库中也是作为最底层的标签存在,直接定义了具 体的数据库实例、读写分离配置和心跳语句。

balance 属性

负载均衡类型,目前的取值有 3 种:

1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。

2. balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双 主双从模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载 均衡。

3. balance="2",所有读操作都随机的在 writeHost、readhost 上分发。

4. balance="3",所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力, 注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。

writeType 属性

负载均衡类型,目前的取值有 3 种:

1. writeType="0", 所有写操作发送到配置的第一个 writeHost,第一个挂了切到还生存的第二个 writeHost,

重新启动后已切换后的为准,切换记录在配置文件中:dnindex.properties .

2. writeType="1",所有写操作都随机的发送到配置的 writeHost,1.5 以后废弃不推荐。

switchType 属性

-1 表示不自动切换 1 默认值,自动切换

2 基于 MySQL 主从同步的状态决定是否切换 心跳语句为 show slave status

3 基于 MySQL galary cluster 的切换机制(适合集群)(1.4.1) 心跳语句为 show status like ‘wsrep%’

测试:

读写分离

没有启动mycat之前 创建表:

create table tb_test1(

id int,

username varchar(20)

);

vim conf/log4j2.xml 修改mycat日志文件 conf/log4j2.xml 为debug,为了方便查看日志

启动mycat 使用navicat测试连接:

mycat start 启动( 因为配置了环境变量,在任何都可以执行)

mycat status 查看启动状态,看到running (pid)

在navicat连接的mycat上执行下面语句:

m1是写的服务器,所有的更新操作,都是在m1上执行

执行10条插入语句,使用下面语句查看在哪个服务器执行

insert into tb_test1 values(1,'zhangsan1');

insert into tb_test1 values(2,'zhangsan2');

insert into tb_test1 values(3,'zhangsan3');

insert into tb_test1 values(4,'zhangsan4');

insert into tb_test1 values(5,'zhangsan5');

insert into tb_test1 values(6,'zhangsan6');

insert into tb_test1 values(7,'zhangsan7');

insert into tb_test1 values(8,'zhangsan8');

insert into tb_test1 values(9,'zhangsan9');

insert into tb_test1 values(10,'zhangsan10');

grep --color=auto insert logs/wrapper.log

所有的insert 语句都是在192.168.23.23上执行

m2,s1,s2都读的服务器,所有的select查询操作,在这3台执行

在mycat上执行查询语

select * from tb_test1; -- 全部数据 可定是 m2执行的 192.168.23.25

select * from tb_test1; -- 如果缺少5,6,7 在s2执行

select * from tb_test1; -- 如果缺少8,9,10 在s1执行

所有的读操作都是在m2 s1和s2上执行

负载均衡

m2,s1,s2 轮流执行select语句 从上面就可以看到效果 单台300 项目一共支持 900并发

自动故障切换

m1挂掉后,心跳语句会判断m1是否正常,发现不正常后,会自动切换到第2个存活的writehost 节点作为写节点m2,如果是写节点m1挂了,该写节点下的读节点s1也不参与读

service mysqld stop 停止192.168.23.23的mysql

在mycat上执行插入语句

insert into tb_test1 values(11,'zhangsan11');

insert into tb_test1 values(12,'zhangsan12');

grep --color=auto insert logs/wrapper.log

发现写操作在192.168.23.25的mysql执行

select * from tb_test1; -- 每次都在s2上执行了

如果m1恢复正常 刚才m2执行的插入的数据m1上也会有,m2仍然是写节点,并且m1 s1以后会参与读操作

service mysqld start 启动服务192.168.23.23

参与读操作m1 s1和s2

insert into tb_test1 values(13,'zhangsan13');

insert into tb_test1 values(14,'zhangsan14');

grep --color=auto insert logs/wrapper.log

发现写操作还是192.168.23.25

select * from tb_test1; -- 全部数据 可定是 m1执行的 192.168.23.23

select * from tb_test1; -- 如果缺少5,6,7 在s2执行

select * from tb_test1; -- 如果缺少8,9,10 在s1执行

4、本章总结

4.1 总结本章知识点

4.2 面试题答案

4.3 预习下一章重点

标签: #mysql集群mysql主从