Überblick
Bei einem Logistikdienstleister verschwanden Metriken und Traces kurzlebiger Workloads sporadisch. Der Support des Herstellers bestätigte, dass auf Plattformseite alles in Ordnung war – damit blieben der eigene Agent und die Infrastrukturebenen des Kunden als Ort für die Suche. Genau auf diesen Ebenen arbeitet AceMQ.
Herausforderung
Kurzlebige Batch-Pods wurden beendet, bevor der Agent seinen Puffer geleert hatte, sodass ihre letzten Metriken und alle Traces aus den letzten Sekunden der Ausführung nie ankamen. Unabhängig davon verwarf eine geänderte Network Policy in Spitzenzeiten einen Teil des Egress-Traffics, und das Retry-Verhalten des Agents ließ das sporadisch statt systematisch erscheinen. Beide Probleme sahen aus wie ein einziges, unzuverlässiges Symptom – deshalb war es monatelang ungelöst geblieben.
Umgebung
Datadog Agents als DaemonSet auf Kubernetes mit hoher Pod-Fluktuation, Egress über einen gemeinsamen Netzwerkpfad mit Policy-Durchsetzung.
Vorgehen
AceMQ betreibt nicht die Plattform des Herstellers – wir arbeiten auf den Ebenen, die dem Kunden gehören und die der Hersteller-Support nicht untersucht. Wir instrumentierten die Eigentelemetrie des Agents, korrelierten die Lückenzeiträume mit Pod-Lifecycle-Events und Egress-Metriken und trennten die beiden sich überlagernden Ursachen, bevor wir eine davon behoben.
Lösung
- Interne Telemetrie des Agents aktiviert und erfasst, sodass fehlgeschlagene Flushes und verworfene Payloads direkt sichtbar wurden
- Lückenzeiträume mit Pod-Termination-Events korreliert und kurzlebige Workloads als eigene Fehlerklasse isoliert
- Termination Grace Period der Pods und Flush-Verhalten des Agents angepasst, damit Batch-Workloads ihre letzten Daten vor dem Beenden melden
- Egress-Pfad instrumentiert, um die Verluste in Spitzenzeiten sichtbar zu machen, die die Retries des Agents verdeckt hatten
- Network Policy korrigiert sowie Retry- und Backoff-Einstellungen des Agents so abgestimmt, dass echte Verluste als Fehler statt als Stille erscheinen
- Alerting auf die vom Agent gemeldeten Drop-Zähler ergänzt, damit künftige Telemetrieverluste erkannt statt erst später entdeckt werden
Resultat
Die Telemetrielücken bei kurzlebigen Workloads hörten vollständig auf, und die Verluste in Spitzenzeiten gingen nach der Korrektur der Egress-Policy praktisch auf null zurück. Der Kunde kann jetzt einen echten Service-Ausfall von einem Fehler bei der Datenerfassung unterscheiden – bisher war das Raterei.