Przegląd
Specjaliści od eksploatacji Hadoop od lat odchodzą z rynku, ale klastry nadal działają na produkcji i nadal obsługują regulowane obciążenia. AceMQ zapewnia przypisanych starszych inżynierów, 24/7, dla klastrów, które muszą działać do czasu zakończenia migracji.
Wyzwanie
Typowe incydenty produkcyjne to pojedyncza kolejka zajmująca cały klaster, bo jej ustawień capacity i maximum-capacity nigdy ze sobą nie uzgodniono, aplikacje zablokowane w stanie ACCEPTED z powodu wyczerpania procentu zasobów dla ApplicationMaster, NodeManagery oznaczone jako unhealthy z powodu zapełnionych katalogów lokalnych oraz kontenery zabijane za przekroczenie pamięci fizycznej, gdy faktycznym problemem jest narzut JVM poza stertą. Ktoś, kto już to widział, zdiagnozuje je w kilka minut — komuś, kto nie widział, może to zająć kilka dni.
Środowisko
Lokalne klastry Hadoop z YARN i Capacity lub Fair Scheduler, mieszane obciążenia Spark, Hive i MapReduce.
Podejście
Inżynierowie AceMQ pracują na logach ResourceManagera i NodeManagerów, metrykach kolejek schedulera i kodach wyjścia kontenerów, aby odróżnić problem z planowaniem od problemu z zasobami i od problemu z węzłem. Najpierw następuje stabilizacja, a potem zmiana konfiguracji kolejek lub rozmiaru pamięci, która eliminuje powtarzanie się problemu.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
- Przegląd ustawień capacity, maximum-capacity i user-limit-factor kolejek w celu usunięcia głodzenia i nieograniczonego rozrostu kolejek
- Diagnoza aplikacji zablokowanych w stanie ACCEPTED, w tym wyczerpania procentu zasobów dla ApplicationMaster
- Diagnoza kondycji NodeManagerów obejmująca zapełnienie katalogów lokalnych i katalogów logów oraz progi awarii dysków
- Wymiarowanie pamięci kontenerów z uwzględnieniem sterty, narzutu i współczynnika vmem, aby zatrzymać zabijanie kontenerów, którego przyczyną jest w rzeczywistości narzut JVM
- Konfiguracja wywłaszczania (preemption) i etykiet węzłów tam, gdzie mieszane obciążenia o różnych priorytetach muszą współdzielić klaster
Efekt
Klienci utrzymują niezawodne działanie klastrów Hadoop przez cały okres migracji bez konieczności utrzymywania trudno dostępnych wewnętrznych kompetencji Hadoop, a powtarzające się incydenty schedulera są rozwiązywane na poziomie konfiguracji, a nie przez restart ResourceManagera.