Retour à tous les cas d'usage

RemédiationMultisectoriel

Combler les trous de télémétrie situés en deçà du périmètre de support de l'éditeur

Prestataire logistique international

Remédiation de trous intermittents dans la télémétrie Datadog, dont l'origine a été localisée dans la mise en tampon de l'agent, le cycle de vie des conteneurs et le comportement du trafic sortant sur l'infrastructure propre du client.

Présentation

Chez un prestataire logistique, des métriques et des traces disparaissaient par intermittence pour les charges de courte durée. Le support de l'éditeur avait confirmé que rien n'était en cause côté plateforme : restaient à examiner les couches agent et infrastructure du client lui-même. C'est sur ces couches qu'intervient AceMQ.

Défi

Des pods batch de courte durée s'arrêtaient avant que l'agent ait vidé son tampon : leurs dernières métriques et les traces des dernières secondes d'exécution n'arrivaient jamais. Par ailleurs, une modification de politique réseau avait commencé à rejeter une partie du trafic sortant aux heures de pointe, et le mécanisme de relance de l'agent masquait ce problème, qui paraissait intermittent alors qu'il était systématique. Les deux problèmes ressemblaient à un seul symptôme aléatoire, ce qui explique qu'il soit resté sans solution pendant des mois.

Environnement

Agents Datadog déployés en DaemonSet sur Kubernetes avec un fort renouvellement des pods, trafic sortant passant par un chemin réseau partagé soumis à des politiques de filtrage.

Approche

AceMQ n'exploite pas la plateforme de l'éditeur : nous intervenons sur les couches dont le client est propriétaire et sur lesquelles le support de l'éditeur n'enquête pas. Nous avons instrumenté la télémétrie interne de l'agent, corrélé les périodes de trous avec les événements du cycle de vie des pods et les métriques de trafic sortant, puis séparé les deux causes qui se superposaient avant de corriger l'une ou l'autre.

Solution

  1. Activation et collecte de la télémétrie interne de l'agent pour rendre directement visibles les échecs de vidage et les charges utiles perdues
  2. Corrélation des périodes de trous avec les événements d'arrêt des pods, isolant les charges de courte durée comme une catégorie de défaillance à part
  3. Ajustement du délai de grâce à l'arrêt des pods et du comportement de vidage de l'agent pour que les charges batch transmettent leurs dernières données avant de s'arrêter
  4. Instrumentation du chemin de trafic sortant pour mettre en évidence les pertes aux heures de pointe que masquaient les relances de l'agent
  5. Correction de la politique réseau et réglage des paramètres de relance et de backoff de l'agent pour que les vraies pertes remontent comme des erreurs au lieu de passer sous silence
  6. Ajout d'alertes sur les compteurs de pertes signalés par l'agent pour détecter toute future perte de télémétrie au lieu de la découvrir après coup

Résultat obtenu

Les trous de télémétrie des charges de courte durée ont totalement disparu, et les pertes aux heures de pointe sont tombées pratiquement à zéro une fois la politique de trafic sortant corrigée. Le client sait désormais distinguer une véritable panne de service d'un échec de collecte, ce qui relevait jusque-là de la devinette.

Technologies

DatadogKubernetesLinuxOpenTelemetry

Confronté à un incident de production Datadog ?

Les ingénieurs Datadog seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.