Powrót do wszystkich studiów przypadków

DoradztwoOprogramowanie / platformy cyfrowe

Architektura ingestu, w której zator po stronie odbiorcy oznacza opóźnienie, a nie utratę danych

Platforma handlu cyfrowego

Doradztwo w zakresie przeprojektowania architektury ingestu ELK w oparciu o buforujące kolejki, potoki ingest node i standaryzację schematu.

Przegląd

Ingest ELK platformy e-commerce był kruchy: każde spowolnienie Elasticsearch przenosiło się z powrotem na aplikacje generujące logi. AceMQ zaprojektowało buforowaną architekturę, która oddziela producentów od klastra wyszukiwania.

Wyzwanie

Beats wysyłały dane bezpośrednio do warstwy Logstash, która zapisywała synchronicznie do Elasticsearch, więc każde spowolnienie indeksowania stawało się back-pressure sięgającym aż do producentów logów. Podczas prac serwisowych na klastrze jedynymi opcjami były akceptacja utraty danych albo zablokowanie aplikacji. Do tego każdy zespół miał własne nazewnictwo pól, więc skorelowanie żądania między usługami wymagało znajomości trzech różnych nazw tego samego identyfikatora, a logika parsowania obsługująca je wszystkie mieszkała w jednej, coraz trudniejszej w utrzymaniu konfiguracji Logstash.

Środowisko

ELK na Kubernetes pobierający dane z kilkudziesięciu usług, przy rosnącym zarówno wolumenie logów, jak i liczbie zespołów, które je dostarczają.

Podejście

Wprowadziliśmy trwały bufor między produkcją a indeksowaniem, aby obie strony mogły zawodzić niezależnie, przenieśliśmy proste parsowanie do potoków ingest Elasticsearch, gdzie jest jego miejsce, i ujednoliciliśmy wspólny schemat, dzięki czemu logika parsowania dla poszczególnych usług w dużej mierze znika. Projekt podzielono na etapy, aby zespoły migrowały stopniowo, a nie w ramach jednego przełączenia.

Rozwiązanie

  1. Wprowadzenie trwałej kolejki komunikatów między shipperami a warstwą indeksowania, dzięki której prace serwisowe na klastrze powodują opóźnienie, a nie utratę danych
  2. Przeniesienie prostego parsowania i wzbogacania do potoków ingest Elasticsearch, z pozostawieniem Logstash tylko tam, gdzie potrzebne są jego możliwości
  3. Przyjęcie wspólnego schematu dla pól współdzielonych, dzięki czemu korelacja między usługami przestaje wymagać wiedzy o polach każdego zespołu
  4. Podział definicji potoków dla poszczególnych usług na jednostki z właścicielami, wdrażane niezależnie, zamiast jednej monolitycznej konfiguracji
  5. Zdefiniowanie obsługi dead letter, dzięki której zdarzenia niemożliwe do sparsowania są przechwytywane do przeglądu, zamiast być gubione lub blokować przepływ
  6. Etapowy plan migracji pozwalający zespołom przechodzić usługa po usłudze, z równoległą pracą obu ścieżek w okresie przejściowym

Efekt

Prace serwisowe na Elasticsearch nie wpływają już na producentów logów — bufor przejmuje to okno i opróżnia się później. Dodanie nowej usługi do potoku przestało być zmianą we współdzielonej konfiguracji i stało się niezależnym wdrożeniem z własnym właścicielem.

Technologie

ELK StackLogstashKafkaElasticsearchKubernetes

Potrzebują Państwo doradztwa w zakresie architektury ELK Stack?

Starsi inżynierowie ELK Stack w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.