Présentation
Chez un prestataire logistique, des métriques et des traces disparaissaient par intermittence pour les charges de courte durée. Le support de l'éditeur avait confirmé que rien n'était en cause côté plateforme : restaient à examiner les couches agent et infrastructure du client lui-même. C'est sur ces couches qu'intervient AceMQ.
Défi
Des pods batch de courte durée s'arrêtaient avant que l'agent ait vidé son tampon : leurs dernières métriques et les traces des dernières secondes d'exécution n'arrivaient jamais. Par ailleurs, une modification de politique réseau avait commencé à rejeter une partie du trafic sortant aux heures de pointe, et le mécanisme de relance de l'agent masquait ce problème, qui paraissait intermittent alors qu'il était systématique. Les deux problèmes ressemblaient à un seul symptôme aléatoire, ce qui explique qu'il soit resté sans solution pendant des mois.
Environnement
Agents Datadog déployés en DaemonSet sur Kubernetes avec un fort renouvellement des pods, trafic sortant passant par un chemin réseau partagé soumis à des politiques de filtrage.
Approche
AceMQ n'exploite pas la plateforme de l'éditeur : nous intervenons sur les couches dont le client est propriétaire et sur lesquelles le support de l'éditeur n'enquête pas. Nous avons instrumenté la télémétrie interne de l'agent, corrélé les périodes de trous avec les événements du cycle de vie des pods et les métriques de trafic sortant, puis séparé les deux causes qui se superposaient avant de corriger l'une ou l'autre.
Solution
- Activation et collecte de la télémétrie interne de l'agent pour rendre directement visibles les échecs de vidage et les charges utiles perdues
- Corrélation des périodes de trous avec les événements d'arrêt des pods, isolant les charges de courte durée comme une catégorie de défaillance à part
- Ajustement du délai de grâce à l'arrêt des pods et du comportement de vidage de l'agent pour que les charges batch transmettent leurs dernières données avant de s'arrêter
- Instrumentation du chemin de trafic sortant pour mettre en évidence les pertes aux heures de pointe que masquaient les relances de l'agent
- Correction de la politique réseau et réglage des paramètres de relance et de backoff de l'agent pour que les vraies pertes remontent comme des erreurs au lieu de passer sous silence
- Ajout d'alertes sur les compteurs de pertes signalés par l'agent pour détecter toute future perte de télémétrie au lieu de la découvrir après coup
Résultat obtenu
Les trous de télémétrie des charges de courte durée ont totalement disparu, et les pertes aux heures de pointe sont tombées pratiquement à zéro une fois la politique de trafic sortant corrigée. Le client sait désormais distinguer une véritable panne de service d'un échec de collecte, ce qui relevait jusque-là de la devinette.