今日は、雨も降らず過ごしやすい一日で、夜になっても穏やかだったのにもかかわらず、20時前に突然停電が発生。
ブレーカーが落ちた？と思ったものの、窓の外を見たら街灯の明りも消えていたので、町全体が停電している事がわかりました。
10分くらいで電力戻ったものの、防犯カメラや複数台サーバーを運用中の私には、電力が戻った後が一番大変。自動的に元の状態に戻るわけじゃないから、一台ずつ動作確認したり、手動でサービスを再起動しないといけない。
今回の被害は、データベースサーバーのファイルシステムが壊れて、OSが起動しなくなり、Webサービスを止めざるを得なくなりました。普段だったら fsck が自動起動して修復してくれるんですが、今回は失敗。
ログインプロンプトが出る前に停止してしまって、キーボード入力を受け付けないので、手を出せない。ファイルシステムのアクセスランプが無いので、起動状態がわからない！2時間くらい待ってみましたけどコマンドプロンプトまでたどり着く気配がないので、手間ではありますが、ファイルシステムを別のサーバーにUSB接続して fsck をかけることにしました。
幸運なことに、パーティション全部に fsck をかけて元のハードウェアに戻したらOSが起動し、データベースも起動。OS部分のファイルシステムの一部が壊れていたようです。
サーバーが数時間ダウンしたついでに、データベースのバックアップを取ったほか、FreeBSD OSもパッチをインストールしておくことにしました。
サーバーの他、防犯カメラも一台オンラインに復旧しないものがあって、これもわざわざ電源オフ→オンしに現場に行きました。
その他どこかに障害が残っていたり、故障している可能性も残っており、停電の後処理は本当に大変。