Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Dysk się zapełnia, węzeł przechodzi w NotReady, a nikt niczego nie sprzątał

Firma z branży streamingu multimediów

Zatrzymanie powtarzających się awarii agentów budowania i węzłów, spowodowanych niesprzątaną pamięcią podręczną budowania Docker, osieroconymi obrazami (dangling) i porzuconymi wolumenami zapełniającymi system plików.

Przegląd

Pamięć podręczna budowania Docker, osierocone obrazy, zatrzymane kontenery i porzucone wolumeny gromadzą się po cichu. Na intensywnie używanym agencie budowania system plików zapełnia się w ciągu kilku tygodni, a pierwszym widocznym objawem jest zwykle awaria czegoś pozornie niezwiązanego — węzeł oznaczony jako NotReady albo baza danych odmawiająca zapisów na tym samym wolumenie.

Wyzwanie

Agenty budowania co kilka tygodni ulegały awarii z błędami braku miejsca, a dwukrotnie współdzielony węzeł zapełnił się i wyrzucił (evicted) niezwiązane pody produkcyjne. Sprzątanie było ręczne i niekonsekwentne. Najszybciej przyrastały montowania pamięci podręcznej BuildKit i warstwy budowania wieloetapowego, a zestaw porzuconych wolumenów po usuniętych kontenerach nigdy nie został odzyskany.

Środowisko

Agenty budowania CI i węzły Kubernetes z obciążeniami kontenerowymi, z częstym budowaniem obrazów dla wielu usług.

Podejście

AceMQ zmierzyło, co faktycznie zajmuje dysk, zanim cokolwiek zmieniło — rozdzielając pamięć podręczną budowania, warstwy obrazów, zapisywalne warstwy kontenerów, logi i porzucone wolumeny — ponieważ właściwa polityka retencji jest inna dla każdej z tych kategorii. Następnie wprowadziliśmy automatyczne sprzątanie z retencją, która zachowuje wartość pamięci podręcznej, zamiast usuwać ją w całości.

Rozwiązanie

  1. Rozbicie zajętości dysku na pamięć podręczną budowania, warstwy obrazów, warstwy kontenerów, logi i porzucone wolumeny
  2. Automatyczne sprzątanie z retencją opartą na wieku i rozmiarze, która utrzymuje przydatność najnowszej pamięci podręcznej
  3. Skonfigurowanie limitów retencji pamięci podręcznej BuildKit, aby montowania pamięci podręcznej przestały rosnąć bez ograniczeń
  4. Włączenie rotacji logów kontenerów z limitami rozmiaru na poziomie demona
  5. Oddzielenie pamięci masowej agentów budowania od pamięci masowej obciążeń, aby budowanie nie mogło zapełnić węzła produkcyjnego
  6. Alerty o zajętości dysku z progami, które zadziałają na długo przed zapełnieniem systemu plików

Efekt

Powtarzające się awarie z powodu braku miejsca ustały, a współczynnik trafień w pamięci podręcznej budowania pozostał wysoki, ponieważ sprzątanie opiera się na retencji, a nie na całkowitym czyszczeniu. Pody produkcyjne nie współdzielą już systemu plików z pamięcią podręczną budowania.

Technologie

DockerKubernetesAirbytePostgreSQL

Potrzebują Państwo eksperckiego wsparcia Docker?

Starsi inżynierowie Docker w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.