Überblick
Der ELK-Ingest einer Commerce-Plattform war fragil: Jede Verlangsamung in Elasticsearch schlug bis zu den Anwendungen durch, die die Logs erzeugten. AceMQ entwarf eine gepufferte Architektur, die die Producer vom Such-Cluster entkoppelt.
Herausforderung
Beats lieferten direkt an eine Logstash-Schicht, die synchron nach Elasticsearch schrieb – jede Verlangsamung der Indexierung wurde so zum Backpressure bis zu den Log-Producern. Bei Wartungsarbeiten am Cluster blieb nur die Wahl zwischen Datenverlust und blockierten Anwendungen. Hinzu kam, dass jedes Team eigene Feldnamen verwendete: Wer einen Request über Services hinweg korrelieren wollte, musste drei verschiedene Namen für dieselbe ID kennen, und die Parsing-Logik dafür steckte in einer einzigen, zunehmend unwartbaren Logstash-Konfiguration.
Umgebung
ELK auf Kubernetes mit Ingest aus Dutzenden Services und wachsendem Log-Volumen wie wachsender Zahl beteiligter Teams.
Vorgehen
Wir führten einen dauerhaften Puffer zwischen Erzeugung und Indexierung ein, damit beide unabhängig voneinander ausfallen können, verlagerten einfaches Parsing in Elasticsearch-Ingest-Pipelines, wo es hingehört, und vereinheitlichten auf ein gemeinsames Schema, wodurch die Parsing-Logik je Service weitgehend entfällt. Das Design war gestaffelt angelegt, sodass die Teams schrittweise migrieren statt über einen einzigen Cutover.
Lösung
- Dauerhafte Message Queue zwischen Shippern und Indexierungsschicht eingeführt – Wartung am Cluster verursacht Verzögerung statt Verlust
- Einfaches Parsing und Enrichment in Elasticsearch-Ingest-Pipelines verlagert; Logstash bleibt nur dort, wo seine Fähigkeiten gebraucht werden
- Gemeinsames Schema für übergreifende Felder eingeführt, damit Korrelation über Services kein teamspezifisches Feldwissen mehr erfordert
- Pipeline-Definitionen je Service in eigenständige, unabhängig deploybare Einheiten mit klarer Verantwortung aufgeteilt statt einer monolithischen Konfiguration
- Dead-Letter-Behandlung definiert, damit nicht parsebare Events zur Prüfung erfasst statt verworfen werden oder blockieren
- Gestaffelter Migrationsplan, mit dem Teams Service für Service umziehen, mit parallelem Betrieb beider Pfade während der Umstellung
Resultat
Wartungsarbeiten an Elasticsearch wirken sich nicht mehr auf die Log-Producer aus – der Puffer überbrückt das Zeitfenster und leert sich danach. Einen neuen Service an die Pipeline anzubinden, ist keine Änderung an einer gemeinsamen Konfiguration mehr, sondern ein eigenständiges Deployment mit klarer Verantwortung.