Przegląd
Pamięć podręczna budowania Docker, osierocone obrazy, zatrzymane kontenery i porzucone wolumeny gromadzą się po cichu. Na intensywnie używanym agencie budowania system plików zapełnia się w ciągu kilku tygodni, a pierwszym widocznym objawem jest zwykle awaria czegoś pozornie niezwiązanego — węzeł oznaczony jako NotReady albo baza danych odmawiająca zapisów na tym samym wolumenie.
Wyzwanie
Agenty budowania co kilka tygodni ulegały awarii z błędami braku miejsca, a dwukrotnie współdzielony węzeł zapełnił się i wyrzucił (evicted) niezwiązane pody produkcyjne. Sprzątanie było ręczne i niekonsekwentne. Najszybciej przyrastały montowania pamięci podręcznej BuildKit i warstwy budowania wieloetapowego, a zestaw porzuconych wolumenów po usuniętych kontenerach nigdy nie został odzyskany.
Środowisko
Agenty budowania CI i węzły Kubernetes z obciążeniami kontenerowymi, z częstym budowaniem obrazów dla wielu usług.
Podejście
AceMQ zmierzyło, co faktycznie zajmuje dysk, zanim cokolwiek zmieniło — rozdzielając pamięć podręczną budowania, warstwy obrazów, zapisywalne warstwy kontenerów, logi i porzucone wolumeny — ponieważ właściwa polityka retencji jest inna dla każdej z tych kategorii. Następnie wprowadziliśmy automatyczne sprzątanie z retencją, która zachowuje wartość pamięci podręcznej, zamiast usuwać ją w całości.
Rozwiązanie
- Rozbicie zajętości dysku na pamięć podręczną budowania, warstwy obrazów, warstwy kontenerów, logi i porzucone wolumeny
- Automatyczne sprzątanie z retencją opartą na wieku i rozmiarze, która utrzymuje przydatność najnowszej pamięci podręcznej
- Skonfigurowanie limitów retencji pamięci podręcznej BuildKit, aby montowania pamięci podręcznej przestały rosnąć bez ograniczeń
- Włączenie rotacji logów kontenerów z limitami rozmiaru na poziomie demona
- Oddzielenie pamięci masowej agentów budowania od pamięci masowej obciążeń, aby budowanie nie mogło zapełnić węzła produkcyjnego
- Alerty o zajętości dysku z progami, które zadziałają na długo przed zapełnieniem systemu plików
Efekt
Powtarzające się awarie z powodu braku miejsca ustały, a współczynnik trafień w pamięci podręcznej budowania pozostał wysoki, ponieważ sprzątanie opiera się na retencji, a nie na całkowitym czyszczeniu. Pody produkcyjne nie współdzielą już systemu plików z pamięcią podręczną budowania.