Überblick
Ein Logistikdienstleister betrieb ELK an Cloud- und On-Premises-Standorten, ohne dass jemand die Plattform verantwortete. Probleme beim Ingest zeigten sich meist erst Tage später als fehlende Daten in Dashboards. AceMQ liefert kontinuierlichen Support für den gesamten Ingest-Pfad.
Herausforderung
Die Fehler verteilten sich über mehrere Schichten, und niemand war für die ganze Kette zuständig. Mapping-Konflikte führten dazu, dass Dokumente stillschweigend abgelehnt wurden, wenn zwei Services denselben Feldnamen mit unterschiedlichen Typen verwendeten – die Daten kamen schlicht nie an, und für Ablehnungen gab es keinen Alert. Index Templates drifteten zwischen den Umgebungen auseinander, sodass sich eine im Staging validierte Pipeline in Produktion anders verhielt. Beats-Agents auf älteren Hosts liefen in Versionen, die außerhalb des unterstützten Kompatibilitätsbereichs zum Cluster lagen.
Umgebung
Hybrides ELK-Deployment mit Beats-Agents an Cloud- und On-Premises-Standorten, mehrere Teams liefern Pipeline-Konfiguration zu.
Vorgehen
Der Support deckt die Pipeline durchgängig ab, weil genau dort die Fehler entstehen. Wir alarmieren bei abgelehnten Dokumenten, damit stiller Datenverlust sichtbar wird, halten Index Templates und Pipeline-Definitionen mit identischem Stand in allen Umgebungen unter Versionskontrolle und behandeln die Versionskompatibilität der Beats als geplante Aufgabe statt als Notfall.
Lösung
- 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers für den gesamten Ingest-Pfad
- Alerting bei abgelehnten Dokumenten und Mapping-Konflikten, damit stillschweigend verworfene Daten sofort auffallen
- Index Templates und Component Templates mit einer Namenskonvention für Felder vereinheitlicht, die Typkonflikte verhindert
- Pipeline- und Template-Definitionen unter Versionskontrolle, mit erzwungenem Gleichstand zwischen Staging und Produktion
- Inventar der Beats-Agent-Versionen und ein geplanter Upgrade-Rhythmus, der die Flotte im unterstützten Bereich hält
- Change Review für Pipeline-Änderungen, bevor sie die Produktion erreichen, mit definiertem Rollback pro Änderung
Resultat
Stillschweigend abgelehnte Dokumente werden jetzt innerhalb von Minuten erkannt, statt Tage später als fehlende Dashboard-Daten aufzufallen. Seit die Templates unter Versionskontrolle stehen, gibt es praktisch keinen Drift mehr zwischen Staging und Produktion.