FIELD NOTES FOR SYSTEM MAINTAINERS

保守運用ノート

動いて当たり前のシステムを、ひとりで守る人のための実務メディア

無料ツール|印刷用チェックリスト

断続的に落ちる障害(フラッピング)の追い方チェックリスト

追いかけるときに、これだけ確認できているかを見る項目です。全部を毎回そろえる必要はありません。

まず外せない最低ラインはこの3つです。急いでいても、ここだけは押さえます。

  • 【最低ライン】直す(再起動する)前に、発生日時とそのときのログを控えたか
  • 【最低ライン】過去の発生時刻を並べて、規則的か不規則かを見たか
  • 【最低ライン】その時刻に動いていた定時処理(cron・バックアップ)と重ねたか

次の項目は、当たりがつかないとき・長引いているときに追加で確認します。当てはまらなければ飛ばして大丈夫です。

  • 監視の通知履歴から、ダウンと復旧の両方の時刻を拾ったか
  • 特定の利用者・特定の画面だけかどうかを確かめたか(全体の障害と分けて考えたか)
  • 発生の間隔がだんだん短くなっていないか(溜まっていく型の兆候)を見たか
  • dmesg -T にプロセス強制終了(OOM)やディスクのエラーが出ていないか確認したか
  • ログの保存期間が短すぎて、過去の該当時刻が消えていないか確認したか
  • 監視の間隔が、障害の継続時間より長くて見逃していないか確認したか
  • 次の発生に備えて、リソースやエラー前後の記録が残る仕掛けを入れたか
  • 仮説を1つに絞って確かめたか(同時にいくつも変えていないか)
  • 外部サービス・回線側の障害情報も確認したか

全部に○が付かなくても大丈夫です。最低ラインの3つ、とくに「直す前に時刻を控える」さえ習慣にできれば、次の1回から調査の材料が増えていきます。

この内容は記事「断続的に落ちる障害(フラッピング)の追い方|記録から正体をつかむ」のチェックリストです。印刷してそのままお使いいただけます。 / 無料ツール一覧へ