Przegląd
Błąd 502 w Kong oznacza, że brama nie otrzymała użytecznej odpowiedzi od docelowego upstreamu. Trudność polega na tym, że upstream często jest zdrowy – brama komunikuje się z adresem, który już nie istnieje, albo wykluczyła zdrowy cel, bo health check sprawdzał niewłaściwą rzecz.
Wyzwanie
Niewielka, ale stała część żądań kończyła się błędem 502 bez odpowiadających im wpisów w logach aplikacji upstream, co wskazywało nie na aplikację, lecz na to, jak brama widzi swoje cele. Aktywny health check był skonfigurowany na ścieżkę, która dla nieuwierzytelnionych sond zwracała 401, więc circuit breaker w Kong wykluczał zdrowe cele. Niezależnie od tego cache DNS w Kong przechowywał rozwiązane adresy IP upstreamów dłużej niż ich TTL, więc brama wciąż łączyła się z podami, które zostały przeniesione.
Środowisko
Brama Kong na Kubernetes przed skonteneryzowanymi mikroserwisami, z upstreamami zdefiniowanymi przez nazwy DNS usług i regularnie przenoszonymi podami.
Podejście
AceMQ skorelował logi dostępu bramy i własny log błędów Kong ze zdarzeniami cyklu życia podów upstream, aby powiązać serie błędów 502 z przenoszeniem podów. To pozwoliło ustalić, że jedną przyczyną jest sposób cache’owania DNS, a drugą – wymóg uwierzytelnienia na endpoincie health checka. Obie przyczyny zostały usunięte, a poprawka zweryfikowana podczas celowo przeprowadzonego restartu kroczącego.
Rozwiązanie
- Skorelowanie logów błędów Kong ze zdarzeniami cyklu życia podów upstream w celu powiązania w czasie serii błędów 502 z przenoszeniem podów
- Przekierowanie aktywnych health checków na nieuwierzytelniony endpoint liveness, który zwraca rzeczywisty sygnał kondycji
- Strojenie rozwiązywania DNS i obsługi TTL, aby brama przestała łączyć się z nieaktualnymi adresami upstreamów
- Dostosowanie progów pasywnych health checków, aby przejściowe błędy nie wykluczały już zdrowych celów
- Walidacja poprawki podczas wymuszonego restartu kroczącego wszystkich usług upstream
Efekt
Sporadyczne błędy 502 zostały wyeliminowane, a kroczące wdrożenia usług upstream przestały powodować skoki błędów na bramie.