Escalade des Alertes : Du Premier Email à l'Appel d'Urgence

Une alerte email non lue peut coûter des milliers d'euros si elle signale un incident critique sur votre site e-commerce pendant un pic de ventes. L'escalade des alertes résout ce problème en augmentant progressivement l'urgence des notifications jusqu'à obtenir une réponse.

Le principe est simple : si personne ne réagit à l'alerte initiale dans un délai défini, le système passe au niveau supérieur. Un email ignoré devient un SMS. Un SMS sans réponse déclenche un appel téléphonique. L'incident finit toujours par atteindre quelqu'un qui peut agir.

Ce guide vous montre comment configurer une stratégie d'escalade efficace avec MoniTao. De la simple escalade email → SMS jusqu'aux chaînes d'escalade multi-personnes, vous aurez tous les outils pour garantir qu'aucun incident critique ne passe inaperçu.

Comprendre l'Escalade des Alertes

L'escalade est un mécanisme de notification progressif qui fonctionne en plusieurs étapes :

• Alerte initiale : Quand un incident est détecté, une première notification est envoyée via le canal par défaut (généralement email). Un timer démarre.
• Période d'attente : Le système attend un délai configurable (ex: 5 minutes) pour voir si l'alerte est acquittée ou si le service revient en ligne.
• Escalade niveau 2 : Si aucune action n'est prise, l'alerte passe au niveau supérieur (ex: SMS) et le timer recommence.
• Escalade finale : Le processus continue jusqu'au dernier niveau configuré ou jusqu'à résolution. Les niveaux critiques peuvent inclure des appels téléphoniques.

Les Niveaux d'Escalade Typiques

Voici une configuration d'escalade standard adaptable à la plupart des équipes :

• Niveau 1 - Email (immédiat) : Première notification envoyée à l'équipe ops. Non intrusif, idéal pour les incidents mineurs ou pendant les heures de bureau quand l'équipe surveille ses emails.
• Niveau 2 - Slack/Teams (après 5 min) : Si pas de réponse à l'email, notification dans le canal d'alertes. La visibilité collective augmente les chances que quelqu'un réagisse.
• Niveau 3 - SMS (après 10 min) : Alerte directe sur le téléphone de l'ingénieur d'astreinte. Impossible à ignorer, même loin de son ordinateur.
• Niveau 4 - Appel (après 20 min) : Appel téléphonique automatique pour les incidents critiques non résolus. Réservé aux situations où le service est complètement indisponible.

Configurer l'Escalade dans MoniTao

MoniTao permet de définir des politiques d'escalade flexibles :

1. Définir les canaux : Configurez d'abord tous vos canaux d'alerte (email, SMS, webhook Slack, etc.) dans Paramètres > Canaux.
2. Créer une politique d'escalade : Dans Paramètres > Escalade, créez une nouvelle politique et définissez les niveaux avec leurs délais.
3. Assigner aux monitors : Appliquez la politique aux monitors concernés. Vous pouvez avoir différentes politiques pour différents niveaux de criticité.
4. Tester le flux : Utilisez le mode test pour simuler une escalade complète et vérifier que chaque niveau fonctionne correctement.

Exemple de Configuration d'Escalade

Voici un exemple de politique d'escalade complète :

# Politique d'escalade "Production Critique"
escalation_policy:
  name: "Production Critique"
  levels:
    - level: 1
      delay: 0  # Immédiat
      channels: ["email-ops"]

    - level: 2
      delay: 300  # 5 minutes
      channels: ["slack-alerts"]

    - level: 3
      delay: 600  # 10 minutes (total)
      channels: ["sms-oncall"]

    - level: 4
      delay: 1200  # 20 minutes (total)
      channels: ["phone-oncall", "email-manager"]

  # Désescalade automatique si résolu
  auto_resolve: true
  resolve_notify: ["slack-alerts"]

Cette configuration envoie d'abord un email, puis escalade vers Slack après 5 minutes, SMS après 10 minutes, et finalement appel + notification au manager après 20 minutes. Si le problème se résout, une notification de récupération est envoyée dans Slack.

Scénarios d'Escalade Courants

Adaptez votre escalade selon le contexte :

• Heures de bureau : Escalade rapide car l'équipe est disponible. Email → Slack (2 min) → SMS (5 min). La réactivité attendue est haute.
• Nuit et weekend : Escalade plus directe : Email + SMS immédiat pour l'astreinte. Pas de passage par Slack que personne ne surveille.
• Services critiques : Escalade agressive avec délais courts et appel téléphonique en dernier recours. Chaque minute de downtime a un impact business.
• Services secondaires : Escalade douce : email seul pendant les heures de bureau, SMS uniquement si down > 1 heure. Pas besoin de réveiller quelqu'un pour un service non critique.

Bonnes Pratiques d'Escalade

Pour une escalade efficace sans fatigue d'alertes :

• Délais réalistes : Donnez assez de temps pour réagir à chaque niveau. 2 minutes pour lire un email est trop court. 5-10 minutes est plus raisonnable.
• Éviter la redondance : Si quelqu'un a déjà acquitté l'alerte, les niveaux suivants ne doivent pas se déclencher. L'acquittement stoppe l'escalade.
• Rotation d'astreinte : Intégrez votre planning d'astreinte à l'escalade. Le SMS va à la personne d'astreinte du moment, pas toujours au même.
• Feedback loop : Analysez régulièrement vos escalades. Si vous atteignez souvent le niveau 4, soit les délais sont trop courts, soit l'équipe ne réagit pas assez vite.

Questions Fréquentes

Conclusion

L'escalade des alertes est votre filet de sécurité. Elle garantit que les incidents critiques finissent toujours par atteindre quelqu'un qui peut agir, même si les premiers destinataires ne sont pas disponibles.

MoniTao vous offre une escalade flexible et puissante : niveaux multiples, délais configurables, intégration avec la rotation d'astreinte. Configurez votre première politique d'escalade et dormez sur vos deux oreilles.

Prêt à dormir sur vos deux oreilles ?

Commencez gratuitement, sans carte bancaire.

Créer mon compte Voir les tarifs