Przegląd
U dostawcy usług logistycznych metryki i ślady (traces) krótkotrwałych obciążeń sporadycznie znikały. Wsparcie dostawcy potwierdziło, że po stronie platformy wszystko działa poprawnie, więc do zbadania pozostały warstwy agenta i infrastruktury należące do klienta. AceMQ pracuje właśnie w tych warstwach.
Wyzwanie
Krótkotrwałe pody wsadowe kończyły działanie, zanim agent opróżnił swój bufor, więc ich końcowe metryki i ślady z ostatnich sekund wykonania nigdy nie docierały. Niezależnie od tego zmiana polityki sieciowej zaczęła w godzinach szczytu odrzucać część ruchu wychodzącego, a mechanizm ponowień agenta maskował ten problem jako sporadyczny, a nie systematyczny. Oba problemy wyglądały jak jeden niestabilny objaw — dlatego pozostawał nierozwiązany przez wiele miesięcy.
Środowisko
Agenty Datadog wdrożone jako DaemonSet na Kubernetes z dużą rotacją podów, ruch wychodzący przez współdzieloną ścieżkę sieciową z egzekwowaniem polityk.
Podejście
AceMQ nie obsługuje platformy dostawcy — pracujemy w warstwach, które należą do klienta i których wsparcie dostawcy nie bada. Włączyliśmy telemetrię samego agenta, skorelowaliśmy okna luk ze zdarzeniami cyklu życia podów i metrykami ruchu wychodzącego, a następnie rozdzieliliśmy dwie nakładające się przyczyny, zanim przystąpiliśmy do usuwania którejkolwiek z nich.
Rozwiązanie
- Włączenie i zbieranie wewnętrznej telemetrii agenta, dzięki czemu nieudane opróżnienia bufora i odrzucone dane stały się bezpośrednio widoczne
- Skorelowanie okien luk ze zdarzeniami kończenia podów, co wyodrębniło krótkotrwałe obciążenia jako osobną klasę awarii
- Dostosowanie okresu karencji przy kończeniu podów (termination grace period) i zachowania opróżniania bufora agenta, aby obciążenia wsadowe przekazywały końcowe dane przed zakończeniem
- Oprzyrządowanie ścieżki ruchu wychodzącego w celu ujawnienia strat w godzinach szczytu, maskowanych dotąd przez ponowienia agenta
- Poprawienie polityki sieciowej i dostrojenie ustawień ponowień i backoffu agenta, aby rzeczywiste straty były zgłaszane jako błędy, a nie przemilczane
- Alerty oparte na liczbie strat zgłaszanych przez agenta, dzięki którym przyszła utrata telemetrii jest wykrywana od razu, a nie odkrywana po czasie
Efekt
Luki w telemetrii krótkotrwałych obciążeń całkowicie ustały, a straty w godzinach szczytu spadły praktycznie do zera po poprawieniu polityki ruchu wychodzącego. Klient potrafi teraz odróżnić rzeczywistą awarię usługi od błędu zbierania danych, co wcześniej było zgadywaniem.