记录一次机房断电的极限操作（下）

4:30分来电得救了吗？未必啊！

来电后，机房的精密空调1台自启动，2台手启动，温湿度开始逐渐恢复，刚停了机的设备也不敢贸然启动，等等吧

4:40分上边联系的供电车到位了，让我对接？我又不懂，貌似姓刘吧，问我机房在哪里接电，我就一个机房运维，哪里知道强电供电在哪里，去找电工问问吧。俩小时到现场黄花菜都结冰了！

4:50分，温度回落平稳了，可是系统有一大部分开始告警红灯，头大，先不管了缓缓躺会

6:00分闹钟响了，下楼搞点吃的，牛魔王的鸡蛋豆腐片肠加豆浆哥的豆浆。

7:00分，开始起业务系统，有的机器是自停的，有的是关机的，要挨个检查启动起来，应用大部分没问题，到了数据库服务器这里开始，核心卡等等各个数据库服务器，直接就干脆起不来，基本都是小机，我天这不是瞎了蛋。。

7:30分，所有linux操作系统都起来了，上边的oracle集群故障起不来，排查定位总是在私网这里出问题，ping也通，按道理不应该啊，后来找二线给看了看，是防火墙的问题，gi起来了又开启了防火墙，这是没想到的。

7:40分，现场同事回馈机器引导问题，还是起不来，问问二线支持吧，都在上班路上，一个具体答复都没有，先查查资料。。等等吧

8:00分有经办开始反馈连不上库，随之开始各种电话此起彼伏，业务高峰来了。。那也没办法，维修就1-2人，十来套库，总得有的慢有的快，功夫不负有心人，重启了几次solaris还真让我起来了，哈哈。可是有aix就是死活起不来，也看不到后台，又担心，于是请了外援帮忙看看，果不其然，同样卡在了系统引导…

9:00分因为客户还有恩墨运维，客户给联系恩墨运维，但人家回复一个OS不懂不太专业，直接拒绝了，一直被当做救命稻草的角色，算了还是我们来吧，这个东西我感觉没在现场谁也搞不定，我坚信的是正常下电数据库绝对没问题，但没考虑鬼东西关机起不来，大意失荆州啊！坑人不浅，慢慢来。

这个期间，想起了数据库备份，数据库恢复，可没有恢复环境，借调设备临时拼凑，呵呵想起来就头大，别的别想了，踏实的起系统吧。

临近12:00的所有业务，除了一个卡核心实例没启动，因为模块故障更换备件外，所有业务正常恢复，心可算落地了。。

至此，项目驻场运维到此告一段落，两年来，也停了几次电，无关大雅。甚至五一假期晚上10点停电，大家都心里有底，停电也就1个来小时，能正常恢复，这次真是一点底没有，关了能关的设备，支撑尽可能多的时间，ups电没了网络核心极大可能故障，那就是大事了。始终劝告友友们，备份系统，备份数据库，备份配置，有条件的备份空调，备份电源，备份线路，备份机房，出意外才有底气，否则，改行吧。#电气故障分析# #周末电房检修# #原创#