Przegląd
HDFS przechowuje całą przestrzeń nazw w pamięci NameNode, więc to liczba plików — a nie wolumen danych — ogranicza klaster. Gdy mnożenie się małych plików zbliża heap do sufitu, pauzy GC wydłużają się, aż klienci zaczynają przekraczać limity czasu, a failover zaczyna się przełączać tam i z powrotem. AceMQ stabilizuje NameNode i eliminuje źródła, które generują te pliki.
Wyzwanie
Zadania ingestii zapisujące jeden plik na mikropartię, nadmiernie partycjonowane tabele Hive i lata niekompaktowanych stref lądowania tworzą dziesiątki milionów obiektów, z których każdy z osobna zawiera bardzo mało danych. Heap rośnie, pełne pauzy GC wydłużają się do kilkudziesięciu sekund, health check rezerwowego NameNode kończy się niepowodzeniem, a automatyczny failover uruchamia się podczas pauzy, która w rzeczywistości nie była awarią. Restarty stają się ryzykowne, ponieważ wczytanie fsimage i odtworzenie edycji trwa coraz dłużej.
Środowisko
Lokalne klastry HDFS z NameNode w trybie HA, JournalNode oraz mieszanymi obciążeniami Hive, Spark i ingestii.
Podejście
AceMQ profiluje przestrzeń nazw, aby znaleźć miejsca koncentracji plików, a następnie natychmiast zapewnia zapas przez strojenie heap i GC oraz korektę parametrów czasowych failover, tak aby klaster przestał się przełączać. Kompakcja najgorszych katalogów przebiega przy kontrolowanym obciążeniu, a zadania generujące pliki są poprawiane, aby liczba plików przestała rosnąć. Tam, gdzie problem ma charakter strukturalny, stosuje się archiwizację i zmianę formatu.
Rozwiązanie
- Profilowanie przestrzeni nazw na podstawie analizy fsimage w celu uszeregowania katalogów według liczby plików w stosunku do przechowywanych bajtów
- Dobór rozmiaru heap NameNode i konfiguracji GC w celu skrócenia pauz pełnego odśmiecania
- Korekta parametrów czasowych failover i health checków, aby długie pauzy GC przestały wywoływać niepotrzebną promocję węzła rezerwowego
- Etapowa kompakcja katalogów o największej liczbie plików przy kontrolowanym obciążeniu, w tym konkatenacja tabel Hive
- Poprawa zadań generujących pliki — interwału partii, liczby partycji wyjściowych i wyboru kolumny partycjonowania
- Archiwizacja HAR lub migracja formatu dla zimnych zbiorów danych, które trzeba przechowywać, ale nie odpytuje się ich bezpośrednio
Efekt
Pauzy GC wracają do zakresu, w którym failover nie uruchamia się już bez powodu, a czas restartu NameNode znów jest pod kontrolą. Ponieważ zadania generujące pliki są poprawiane w ramach tego samego projektu, przestrzeń nazw przestaje ponownie rosnąć w stronę sufitu.