Przegląd
Ingest ELK platformy e-commerce był kruchy: każde spowolnienie Elasticsearch przenosiło się z powrotem na aplikacje generujące logi. AceMQ zaprojektowało buforowaną architekturę, która oddziela producentów od klastra wyszukiwania.
Wyzwanie
Beats wysyłały dane bezpośrednio do warstwy Logstash, która zapisywała synchronicznie do Elasticsearch, więc każde spowolnienie indeksowania stawało się back-pressure sięgającym aż do producentów logów. Podczas prac serwisowych na klastrze jedynymi opcjami były akceptacja utraty danych albo zablokowanie aplikacji. Do tego każdy zespół miał własne nazewnictwo pól, więc skorelowanie żądania między usługami wymagało znajomości trzech różnych nazw tego samego identyfikatora, a logika parsowania obsługująca je wszystkie mieszkała w jednej, coraz trudniejszej w utrzymaniu konfiguracji Logstash.
Środowisko
ELK na Kubernetes pobierający dane z kilkudziesięciu usług, przy rosnącym zarówno wolumenie logów, jak i liczbie zespołów, które je dostarczają.
Podejście
Wprowadziliśmy trwały bufor między produkcją a indeksowaniem, aby obie strony mogły zawodzić niezależnie, przenieśliśmy proste parsowanie do potoków ingest Elasticsearch, gdzie jest jego miejsce, i ujednoliciliśmy wspólny schemat, dzięki czemu logika parsowania dla poszczególnych usług w dużej mierze znika. Projekt podzielono na etapy, aby zespoły migrowały stopniowo, a nie w ramach jednego przełączenia.
Rozwiązanie
- Wprowadzenie trwałej kolejki komunikatów między shipperami a warstwą indeksowania, dzięki której prace serwisowe na klastrze powodują opóźnienie, a nie utratę danych
- Przeniesienie prostego parsowania i wzbogacania do potoków ingest Elasticsearch, z pozostawieniem Logstash tylko tam, gdzie potrzebne są jego możliwości
- Przyjęcie wspólnego schematu dla pól współdzielonych, dzięki czemu korelacja między usługami przestaje wymagać wiedzy o polach każdego zespołu
- Podział definicji potoków dla poszczególnych usług na jednostki z właścicielami, wdrażane niezależnie, zamiast jednej monolitycznej konfiguracji
- Zdefiniowanie obsługi dead letter, dzięki której zdarzenia niemożliwe do sparsowania są przechwytywane do przeglądu, zamiast być gubione lub blokować przepływ
- Etapowy plan migracji pozwalający zespołom przechodzić usługa po usłudze, z równoległą pracą obu ścieżek w okresie przejściowym
Efekt
Prace serwisowe na Elasticsearch nie wpływają już na producentów logów — bufor przejmuje to okno i opróżnia się później. Dodanie nowej usługi do potoku przestało być zmianą we współdzielonej konfiguracji i stało się niezależnym wdrożeniem z własnym właścicielem.