Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Domykanie luk w telemetrii, które leżą poniżej granicy wsparcia dostawcy

Globalny dostawca usług logistycznych

Usunięcie sporadycznych luk w telemetrii Datadog, których źródłem okazały się buforowanie agenta, cykl życia kontenerów i zachowanie ruchu wychodzącego w infrastrukturze samego klienta.

Przegląd

U dostawcy usług logistycznych metryki i ślady (traces) krótkotrwałych obciążeń sporadycznie znikały. Wsparcie dostawcy potwierdziło, że po stronie platformy wszystko działa poprawnie, więc do zbadania pozostały warstwy agenta i infrastruktury należące do klienta. AceMQ pracuje właśnie w tych warstwach.

Wyzwanie

Krótkotrwałe pody wsadowe kończyły działanie, zanim agent opróżnił swój bufor, więc ich końcowe metryki i ślady z ostatnich sekund wykonania nigdy nie docierały. Niezależnie od tego zmiana polityki sieciowej zaczęła w godzinach szczytu odrzucać część ruchu wychodzącego, a mechanizm ponowień agenta maskował ten problem jako sporadyczny, a nie systematyczny. Oba problemy wyglądały jak jeden niestabilny objaw — dlatego pozostawał nierozwiązany przez wiele miesięcy.

Środowisko

Agenty Datadog wdrożone jako DaemonSet na Kubernetes z dużą rotacją podów, ruch wychodzący przez współdzieloną ścieżkę sieciową z egzekwowaniem polityk.

Podejście

AceMQ nie obsługuje platformy dostawcy — pracujemy w warstwach, które należą do klienta i których wsparcie dostawcy nie bada. Włączyliśmy telemetrię samego agenta, skorelowaliśmy okna luk ze zdarzeniami cyklu życia podów i metrykami ruchu wychodzącego, a następnie rozdzieliliśmy dwie nakładające się przyczyny, zanim przystąpiliśmy do usuwania którejkolwiek z nich.

Rozwiązanie

  1. Włączenie i zbieranie wewnętrznej telemetrii agenta, dzięki czemu nieudane opróżnienia bufora i odrzucone dane stały się bezpośrednio widoczne
  2. Skorelowanie okien luk ze zdarzeniami kończenia podów, co wyodrębniło krótkotrwałe obciążenia jako osobną klasę awarii
  3. Dostosowanie okresu karencji przy kończeniu podów (termination grace period) i zachowania opróżniania bufora agenta, aby obciążenia wsadowe przekazywały końcowe dane przed zakończeniem
  4. Oprzyrządowanie ścieżki ruchu wychodzącego w celu ujawnienia strat w godzinach szczytu, maskowanych dotąd przez ponowienia agenta
  5. Poprawienie polityki sieciowej i dostrojenie ustawień ponowień i backoffu agenta, aby rzeczywiste straty były zgłaszane jako błędy, a nie przemilczane
  6. Alerty oparte na liczbie strat zgłaszanych przez agenta, dzięki którym przyszła utrata telemetrii jest wykrywana od razu, a nie odkrywana po czasie

Efekt

Luki w telemetrii krótkotrwałych obciążeń całkowicie ustały, a straty w godzinach szczytu spadły praktycznie do zera po poprawieniu polityki ruchu wychodzącego. Klient potrafi teraz odróżnić rzeczywistą awarię usługi od błędu zbierania danych, co wcześniej było zgadywaniem.

Technologie

DatadogKubernetesLinuxOpenTelemetry

Problem produkcyjny z Datadog?

Starsi inżynierowie Datadog w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.