Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Każdy mały plik kosztuje pamięć heap NameNode, a heap to twardy limit klastra

Globalny operator logistyczny

Odciążenie pamięci heap NameNode i skrócenie długich pauz GC spowodowanych mnożeniem się małych plików w HDFS, zanim klaster straci usługę metadanych.

Przegląd

HDFS przechowuje całą przestrzeń nazw w pamięci NameNode, więc to liczba plików — a nie wolumen danych — ogranicza klaster. Gdy mnożenie się małych plików zbliża heap do sufitu, pauzy GC wydłużają się, aż klienci zaczynają przekraczać limity czasu, a failover zaczyna się przełączać tam i z powrotem. AceMQ stabilizuje NameNode i eliminuje źródła, które generują te pliki.

Wyzwanie

Zadania ingestii zapisujące jeden plik na mikropartię, nadmiernie partycjonowane tabele Hive i lata niekompaktowanych stref lądowania tworzą dziesiątki milionów obiektów, z których każdy z osobna zawiera bardzo mało danych. Heap rośnie, pełne pauzy GC wydłużają się do kilkudziesięciu sekund, health check rezerwowego NameNode kończy się niepowodzeniem, a automatyczny failover uruchamia się podczas pauzy, która w rzeczywistości nie była awarią. Restarty stają się ryzykowne, ponieważ wczytanie fsimage i odtworzenie edycji trwa coraz dłużej.

Środowisko

Lokalne klastry HDFS z NameNode w trybie HA, JournalNode oraz mieszanymi obciążeniami Hive, Spark i ingestii.

Podejście

AceMQ profiluje przestrzeń nazw, aby znaleźć miejsca koncentracji plików, a następnie natychmiast zapewnia zapas przez strojenie heap i GC oraz korektę parametrów czasowych failover, tak aby klaster przestał się przełączać. Kompakcja najgorszych katalogów przebiega przy kontrolowanym obciążeniu, a zadania generujące pliki są poprawiane, aby liczba plików przestała rosnąć. Tam, gdzie problem ma charakter strukturalny, stosuje się archiwizację i zmianę formatu.

Rozwiązanie

  1. Profilowanie przestrzeni nazw na podstawie analizy fsimage w celu uszeregowania katalogów według liczby plików w stosunku do przechowywanych bajtów
  2. Dobór rozmiaru heap NameNode i konfiguracji GC w celu skrócenia pauz pełnego odśmiecania
  3. Korekta parametrów czasowych failover i health checków, aby długie pauzy GC przestały wywoływać niepotrzebną promocję węzła rezerwowego
  4. Etapowa kompakcja katalogów o największej liczbie plików przy kontrolowanym obciążeniu, w tym konkatenacja tabel Hive
  5. Poprawa zadań generujących pliki — interwału partii, liczby partycji wyjściowych i wyboru kolumny partycjonowania
  6. Archiwizacja HAR lub migracja formatu dla zimnych zbiorów danych, które trzeba przechowywać, ale nie odpytuje się ich bezpośrednio

Efekt

Pauzy GC wracają do zakresu, w którym failover nie uruchamia się już bez powodu, a czas restartu NameNode znów jest pod kontrolą. Ponieważ zadania generujące pliki są poprawiane w ramach tego samego projektu, przestrzeń nazw przestaje ponownie rosnąć w stronę sufitu.

Technologie

Apache HadoopApache HiveApache SparkYARN

Problem produkcyjny z Apache Hadoop?

Starsi inżynierowie Apache Hadoop w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.