Powrót do wszystkich studiów przypadków

Wsparcie techniczneAdministracja publiczna / obronność

Wiedza ekspercka o Hadoop pod telefonem — dla klastrów, które wciąż muszą działać

Instytucja sektora publicznego

Wsparcie z przypisanymi inżynierami w przypadku głodzenia kolejek YARN, błędów przydziału kontenerów i niestabilności NodeManagerów w produkcyjnych klastrach Hadoop.

Przegląd

Specjaliści od eksploatacji Hadoop od lat odchodzą z rynku, ale klastry nadal działają na produkcji i nadal obsługują regulowane obciążenia. AceMQ zapewnia przypisanych starszych inżynierów, 24/7, dla klastrów, które muszą działać do czasu zakończenia migracji.

Wyzwanie

Typowe incydenty produkcyjne to pojedyncza kolejka zajmująca cały klaster, bo jej ustawień capacity i maximum-capacity nigdy ze sobą nie uzgodniono, aplikacje zablokowane w stanie ACCEPTED z powodu wyczerpania procentu zasobów dla ApplicationMaster, NodeManagery oznaczone jako unhealthy z powodu zapełnionych katalogów lokalnych oraz kontenery zabijane za przekroczenie pamięci fizycznej, gdy faktycznym problemem jest narzut JVM poza stertą. Ktoś, kto już to widział, zdiagnozuje je w kilka minut — komuś, kto nie widział, może to zająć kilka dni.

Środowisko

Lokalne klastry Hadoop z YARN i Capacity lub Fair Scheduler, mieszane obciążenia Spark, Hive i MapReduce.

Podejście

Inżynierowie AceMQ pracują na logach ResourceManagera i NodeManagerów, metrykach kolejek schedulera i kodach wyjścia kontenerów, aby odróżnić problem z planowaniem od problemu z zasobami i od problemu z węzłem. Najpierw następuje stabilizacja, a potem zmiana konfiguracji kolejek lub rozmiaru pamięci, która eliminuje powtarzanie się problemu.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
  2. Przegląd ustawień capacity, maximum-capacity i user-limit-factor kolejek w celu usunięcia głodzenia i nieograniczonego rozrostu kolejek
  3. Diagnoza aplikacji zablokowanych w stanie ACCEPTED, w tym wyczerpania procentu zasobów dla ApplicationMaster
  4. Diagnoza kondycji NodeManagerów obejmująca zapełnienie katalogów lokalnych i katalogów logów oraz progi awarii dysków
  5. Wymiarowanie pamięci kontenerów z uwzględnieniem sterty, narzutu i współczynnika vmem, aby zatrzymać zabijanie kontenerów, którego przyczyną jest w rzeczywistości narzut JVM
  6. Konfiguracja wywłaszczania (preemption) i etykiet węzłów tam, gdzie mieszane obciążenia o różnych priorytetach muszą współdzielić klaster

Efekt

Klienci utrzymują niezawodne działanie klastrów Hadoop przez cały okres migracji bez konieczności utrzymywania trudno dostępnych wewnętrznych kompetencji Hadoop, a powtarzające się incydenty schedulera są rozwiązywane na poziomie konfiguracji, a nie przez restart ResourceManagera.

Technologie

Apache HadoopYARNApache SparkApache Hive

Potrzebują Państwo eksperckiego wsparcia Apache Hadoop?

Starsi inżynierowie Apache Hadoop w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.