龙空技术网

记一次mysql数据库数据自动备份(全量+增量备份)

raingo 660

前言:

眼前我们对“mysql 大数据量备份”都比较注意,兄弟们都想要知道一些“mysql 大数据量备份”的相关知识。那么小编也在网摘上收集了一些关于“mysql 大数据量备份””的相关文章,希望兄弟们能喜欢,同学们一起来学习一下吧!

1 全量备份

描述:

(1) 每日凌晨1点自动执行脚本进行数据备份并压缩,备份并压缩的数据保存到nas目录/mnt/nas/mysql_data_bak/,保留7天的备份数据

(2) 保留7天备份的数据,第8天数据备份后,直接覆盖第1天的备份数据,第9天数据备份后,直接覆盖第2天的数据备份,依次进行……

(3) 数据库临时备份文件存放目录:/tmp/mysql_data_bak/

(4) 数据库备份压缩文件存放目录:/mnt/nas/mysql_data_bak/

(5) 备份脚本文件存放目录及文件名:/data/nginx/shell/db_backup_publicnet.sh

1.1 【全量备份】脚本文件

#添加可执行权限

chmod +x /data/nginx/shell/db_backup_publicnet.sh

#备份脚本内容

#!/bin/bash# 设置mysql的登录用户名和密码(根据实际情况填写)mysql_user="mq"mysql_password="mq"mysql_host="127.0.0.1"mysql_port="3306"# 备份文件存放地址(根据实际情况填写)mkdir -p /tmp/mysql_data_bakbackup_location=/tmp/mysql_data_bak#备份文件压缩后移动到nas目录nas_location=/mnt/nas/mysql_data_bak# 是否删除过期数据#expire_backup_delete="ON"#expire_days=1#backup_time=`date +%Y%m%d%H%M`backup_dir=$backup_locationmysql_msg="MySQL backup start!"# 循环备份日期circle_interval=7# 设置初始日期,该数据作为铺地数据start_date=`date -d "2021-05-06 00:00:00" +%s`# 判断mysql实例是否正常运行mysql_ps=`ps -ef |grep mysql |wc -l`mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l`if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then	echo "ERROR:MySQL is not running! backup stop!"	exitelse	echo $mysql_msgfi# 当前日期end_date=`date -d "${end}" +%s`# 计算与初始日期stamp_diff=`expr $end_date - $start_date`# 计算间隔时间day_diff=`expr $stamp_diff / 86400`# 根据间隔时间计算出当前文件名mod_data=$(($day_diff % $circle_interval))# 备份指定数据库中数据(备份的数据库是abc)mysqldump -u$mysql_user -p$mysql_password -h$mysql_host -P$mysql_port --socket=/data2/mysql/mysql.sock --single-transaction -B -R abc > $backup_dir/abc_backdb-$mod_data.sqlflag=`echo $?`if [ $flag == "0" ];then	cd $backup_dir	tar czvf $nas_location/abc_backdb-$mod_data.sql.tar.gz abc_backdb-$mod_data.sql		if [ $? -eq 0 ];then	    #rm -f abc_backdb-$mod_data.sql	    echo "database abc success backup to $nas_location/abc_backdb-$mod_data.sql.tar.gz"	fi	else	echo "database abc backup fail!"fi
1.2 创建备份文件临时存放目录

#先查看该目录是否存在

cd /tmp && mkdir mysql_data_bak

1.3 创建备份文件在nas上的存放目录

#先查看该目录是否存在

cd /mnt/nas && mkdir mysql_data_bak

1.4 先手动执行一次,查看备份是否成功

sh /data/shell/db_backup_publicnet.sh

#进入数据库临时备份文件目录查看数据库临时备份文件是否生成

cd /tmp/mysql_data_bak

#进入数据库备份文件目录查看数据库备份压缩文件是否生成

cd /mnt/nas/mysql_data_bak

1.5 查看数据库备份压缩文件是否能成功解压

tar zxvf abc_backdb-0.sql.tar.gz

1.6 crontab设置定时任务:

#每天凌晨1点备份:

crontab -e

#添加

0 1 * * * /bin/bash /data/nginx/shell/db_backup_publicnet.sh

#查看定时任务:

crontab -l

1.7 验证

前期关注并查看备份是否正常进行

2 增量备份

描述:

(1)每日凌晨1点20分自动执行脚本对日志文件mysql-bin.* 进行割接备份,永久保存备份

(2)每次执行脚本,会产生一个新的mysql-bin.*,即:每日产生一个新的mysql-bin.*日志文件,并将该日志文件进行备份压缩后放到nas备份目录/mnt/nas/mysqlbin_bak。

(3)原日志目录:/data/disksdb1/log

(4)脚本文件存放目录及文件名:/data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh

(5)日志割接备份文件存放目录:/mnt/nas/mysqlbin_bak

(6)脚本执行打印信息记录:/tmp/mysql_data_bak/mysqlbin_log/bak.log

2.1 【增量备份】脚本文件

#添加可执行权限

chmod +x /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh

#脚本文件内容

#!/bin/bash#数据库信息mysql_user="root"mysql_password="root"mysql_host="127.0.0.1"mysql_port="3306"#增量备份时mysql-bin.00000*的备份目标目录,提前手动创建backupDir=/mnt/nas/mysqlbin_bak#mysql-bin日志目录mysqlDir=/data2/log#增量备份操作记录(skip,exist,copying)logFile=/tmp/mysql_data_bak/mysqlbin_log/bak.log#mysql-bin的index文件路径binFile=/data2/log/mysql-bin.index#生成新的mysql-bin.00000*文件mysqladmin -u$mysql_user -p$mysql_password flush-logs#wc -l 统计mysql-bin.index文件的总行数#awk 简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理counter=`wc -l $binFile | awk '{print $1}'`nextNum=0#这个for循环用于比对$counter,$nextNum这两个值来确定文件是不是存在或最新的for file in `cat $binFile`do	#basename用于截取mysql-bin.00000*文件名,去掉路径只保留文件名	base=`basename $file`	echo $base	nextNum=`expr $nextNum + 1`	#检测是否所有的文件是否读取完	if [ $nextNum -eq $counter ]; then		    cd $mysqlDir            tar czvf $backupDir/mysql-bin.index.tar.gz mysql-bin.index        	echo $base skip! >> $logFile	else		#增量备份时mysql-bin.00000*的备份文件(全路径)		dest=$backupDir/$base.tar.gz		#检测目标备份文件是否存在		if [ -f $dest ]; then        		echo $base exist! >> $logFile		else			#不存在,则进行压缩备份-nas			cd $mysqlDir			#判断$base文件是否存在			if [ -f $base ]; then				#压缩备份-nas				tar czvf $backupDir/$base.tar.gz $base				#判断压缩备份是否成功				if [ $? -eq 0 ]; then					echo $base copyTar success! >> $logFile					#清空原日志文件					#cat /dev/null > $base				else					echo $base copyTar failed! >> $logFile				fi			else				echo echo $base original_file not found! >> $logFile				fi		fi	fidone

2.2 创建数据库日志备份文件在nas上存放目录

cd /mnt/nas && mkdir mysqlbin_bak

2.3 创建数据库日志备份脚本执行时输出内容存放目录及文件

cd /tmp/mysql_data_bak && mkdir mysqlbin_log

cd mysqlbin_log && touch bak.log

2.4 先手动执行一次,查看数据库日志是否割接成功及是否备份成功

#执行脚本

sh /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh

#进入数据库原日志目录,查看日志文件是否割接成功

cd /data/disksdb1/log

#进入数据库日志备份目录,查看备份压缩文件是否生成

cd /mnt/nas/mysqlbin_bak

2.5 查看数据库日志备份压缩文件是否能成功解压

tar zxvf mysql-bin.000001.tar.gz

#查看解压后内容

mysqlbinlog mysql-bin.000001

2.6 crontab设置定时任务:

#每天凌晨1:20备份:

crontab -e

#添加

20 1 * * * /bin/bash /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh

#查看定时任务:

crontab -l

2.7 验证

前期关注并查看备份是否正常进行

需要数据恢复的请查看文章《mysql全量&增量数据备份后,进行数据恢复》

标签: #mysql 大数据量备份 #大数据库备份 #mysql数据库全量备份