龙空技术网

记一次生产数据库服务器hang机故障排查,值得借鉴

波波说运维 2450

前言:

此时你们对“数据库卡住了”大致比较关切,我们都需要了解一些“数据库卡住了”的相关知识。那么小编在网摘上搜集了一些对于“数据库卡住了””的相关内容,希望兄弟们能喜欢,同学们快快来了解一下吧!

概述

最近准备对mysql做优化,修改配置文件后mysql无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。

现象

在服务器重启后发现以下问题:执行一些基本命令会hang死。

而且发现mysql进程无法kill掉

排查过程

1、查看磁盘、内存

可以发现磁盘、内存都正常

2、查看服务器整体情况

在用top命令的时候发现IO存在瓶颈,已经达到98%了

3、查看是否有异常用户操作

好吧,都是我的IP地址,那应该是mysql的问题导致了。

4、计划用iotop进一步分析

本来想用iotop来分析具体是哪个进程影响的IO问题,但发现系统之前没装这工具..而目前IO满了,用yum又装不了这工具,只能选择最后一个办法了。

5、重启大法

重启前发现之前的配置文件是有点问题的,写了两个[mysqld],修改回正确的配置文件,禁止mysql开机自动启动,然后重启(注意只能手动重启)。

6、重启后

重启后手动重启mysql正常。

问题应该是在这:我之前配置文件不小心写了两个[mysqld],也就是配置文件错误了,但是服务器重启了(mysql进程是开机自动启动的),然后mysql进程就处于这种僵死状态,导致磁盘IO一直是满的,改好配置文件后手动重启就可以了。

后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注一下~

标签: #数据库卡住了