Przegląd
OOMKilled bez błędu braku pamięci na poziomie aplikacji zwykle oznacza, że środowisko uruchomieniowe w kontenerze nigdy nie dowiedziało się o limicie pamięci kontenera. JVM na starym obrazie bazowym albo proces Node z ręcznie ustawionym max-old-space-size skopiowanym z większego hosta dobiera swój rozmiar do całej pamięci hosta i zostaje zabity przez jądro na długo przed tym, zanim uzna, że jest pod presją.
Wyzwanie
Kilka usług było kończonych przez OOMKilled wielokrotnie w ciągu dnia, bez zrzutu sterty i bez błędu aplikacji — jądro zabijało proces, zanim środowisko uruchomieniowe zdążyło cokolwiek zgłosić. Część usług uruchamiała JVM na obrazie bazowym sprzed czasów niezawodnej obsługi kontenerów, a inne uruchamiały Node z limitem sterty wyższym niż limit samego kontenera. Próbowano podnosić limity pamięci, co jedynie przesuwało próg.
Środowisko
Konteneryzowane usługi JVM i Node na Kubernetes, budowane z różnych obrazów bazowych utrzymywanych przez różne zespoły.
Podejście
AceMQ zestawiło konfigurację pamięci środowiska uruchomieniowego każdego objętego problemem kontenera z jego limitem cgroup, aby ustalić, które procesy nie znają limitu, a które są po prostu błędnie skonfigurowane. Obie klasy problemów naprawiono na poziomie obrazów i manifestów, zamiast podnosić limity, aż zabijanie ustanie.
Rozwiązanie
- Porównanie efektywnej konfiguracji pamięci każdego środowiska uruchomieniowego z rzeczywistym limitem cgroup kontenera
- Aktualizacja obrazów bazowych do wersji środowisk uruchomieniowych respektujących limity cgroup, z jawnymi, procentowymi ustawieniami sterty
- Usunięcie zakodowanych na sztywno limitów sterty przekraczających limit pamięci kontenera
- Uwzględnienie w limicie pamięci poza stertą, metaspace i stosów wątków, a nie tylko samej sterty
- Dodanie metryk pamięci na poziomie kontenera i alertów OOMKill niezależnych od alertów o błędach aplikacji
- Testy obciążeniowe każdej usługi w celu ustalenia limitu na podstawie zmierzonego szczytu, a nie metodą prób i błędów
Efekt
Powtarzające się OOMKille zostały wyeliminowane, a limity pamięci są teraz wyznaczane na podstawie zmierzonego zużycia z zapasem, zamiast być zwiększane po każdym incydencie.