Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Środowisko uruchomieniowe dopasowało się do hosta, a potem zabił je cgroup

Operator marketplace'u internetowego

Usunięcie problemu kontenerów wielokrotnie kończonych przez OOMKilled, ponieważ środowiska uruchomieniowe JVM i Node w ich wnętrzu dobierały rozmiar sterty do pamięci hosta, a nie do limitu cgroup.

Przegląd

OOMKilled bez błędu braku pamięci na poziomie aplikacji zwykle oznacza, że środowisko uruchomieniowe w kontenerze nigdy nie dowiedziało się o limicie pamięci kontenera. JVM na starym obrazie bazowym albo proces Node z ręcznie ustawionym max-old-space-size skopiowanym z większego hosta dobiera swój rozmiar do całej pamięci hosta i zostaje zabity przez jądro na długo przed tym, zanim uzna, że jest pod presją.

Wyzwanie

Kilka usług było kończonych przez OOMKilled wielokrotnie w ciągu dnia, bez zrzutu sterty i bez błędu aplikacji — jądro zabijało proces, zanim środowisko uruchomieniowe zdążyło cokolwiek zgłosić. Część usług uruchamiała JVM na obrazie bazowym sprzed czasów niezawodnej obsługi kontenerów, a inne uruchamiały Node z limitem sterty wyższym niż limit samego kontenera. Próbowano podnosić limity pamięci, co jedynie przesuwało próg.

Środowisko

Konteneryzowane usługi JVM i Node na Kubernetes, budowane z różnych obrazów bazowych utrzymywanych przez różne zespoły.

Podejście

AceMQ zestawiło konfigurację pamięci środowiska uruchomieniowego każdego objętego problemem kontenera z jego limitem cgroup, aby ustalić, które procesy nie znają limitu, a które są po prostu błędnie skonfigurowane. Obie klasy problemów naprawiono na poziomie obrazów i manifestów, zamiast podnosić limity, aż zabijanie ustanie.

Rozwiązanie

  1. Porównanie efektywnej konfiguracji pamięci każdego środowiska uruchomieniowego z rzeczywistym limitem cgroup kontenera
  2. Aktualizacja obrazów bazowych do wersji środowisk uruchomieniowych respektujących limity cgroup, z jawnymi, procentowymi ustawieniami sterty
  3. Usunięcie zakodowanych na sztywno limitów sterty przekraczających limit pamięci kontenera
  4. Uwzględnienie w limicie pamięci poza stertą, metaspace i stosów wątków, a nie tylko samej sterty
  5. Dodanie metryk pamięci na poziomie kontenera i alertów OOMKill niezależnych od alertów o błędach aplikacji
  6. Testy obciążeniowe każdej usługi w celu ustalenia limitu na podstawie zmierzonego szczytu, a nie metodą prób i błędów

Efekt

Powtarzające się OOMKille zostały wyeliminowane, a limity pamięci są teraz wyznaczane na podstawie zmierzonego zużycia z zapasem, zamiast być zwiększane po każdym incydencie.

Technologie

DockerKubernetesPostgreSQLRedis

Problem produkcyjny z Docker?

Starsi inżynierowie Docker w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.