監視の失敗でよくあるのは、通知が多すぎて誰も見なくなる状態です。原因の多くは、「測れるものを全部監視する」という方針にあります。大切なのは、通知を受けた人が次に何をするかを決められるかどうかです。
対応が決まらない通知は、通知にしないか、翌営業日の確認に回します。たとえばディスク使用率が80%になった時点は通知ではなく日次レポートに載せ、95%を超えたら夜間でも電話する、といった段階分けです。
閾値は、構築直後の初期値のままにせず、運用開始から1〜2か月の実績で見直します。時間帯ごとの負荷の波を見ると、毎晩バックアップ時に鳴る通知が見つかるなど、無駄な通知の多くは設定で解消できます。
最後に、通知先の設計も重要です。担当者が応答しない場合の次の連絡先、重大度別の連絡手段、ベンダーへエスカレーションする条件を文書にしておきます。この合意があれば、夜間の判断に迷いが減ります。