Zurück zu allen Kundenbeispielen

SupportBehörden / Verteidigung

Hadoop-Expertise auf Abruf – für Cluster, die weiterlaufen müssen

Behörde im öffentlichen Sektor

Support mit namentlich zugeordneten Engineers bei YARN-Queue-Starvation, fehlgeschlagener Container-Zuweisung und instabilen NodeManagern in produktiven Hadoop-Clustern.

Überblick

Operative Hadoop-Expertise verschwindet seit Jahren vom Markt, doch die Cluster sind weiter in Produktion und tragen weiterhin regulierte Workloads. AceMQ stellt namentlich zugeordnete Senior Engineers 24/7 für die Cluster bereit, die laufen müssen, bis die Migration abgeschlossen ist.

Herausforderung

Typische Produktionsvorfälle: eine einzelne Queue, die den gesamten Cluster belegt, weil ihre capacity- und maximum-capacity-Einstellungen nie abgeglichen wurden; Anwendungen, die in ACCEPTED hängen, weil der Ressourcenanteil für ApplicationMaster erschöpft ist; NodeManager, die wegen voller lokaler Verzeichnisse als unhealthy markiert werden; und Container, die wegen Überschreitung des physischen Speichers beendet werden, obwohl das eigentliche Problem JVM-Overhead außerhalb des Heaps ist. Wer das schon gesehen hat, diagnostiziert es in Minuten – wer nicht, braucht womöglich Tage.

Umgebung

On-Premises-Hadoop-Cluster mit YARN und Capacity oder Fair Scheduler, gemischte Workloads aus Spark, Hive und MapReduce.

Vorgehen

AceMQ-Engineers arbeiten mit den Logs von ResourceManager und NodeManager, den Queue-Metriken des Schedulers und den Exit Codes der Container, um ein Scheduling-Problem von einem Ressourcen- oder Knotenproblem zu unterscheiden. Zuerst wird stabilisiert, danach folgt die Änderung an Queue-Konfiguration oder Speicherdimensionierung, die das Wiederauftreten verhindert.

Lösung

  1. Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
  2. Prüfung von capacity, maximum-capacity und user-limit-factor der Queues, um Starvation und unbegrenztes Queue-Wachstum zu beheben
  3. Diagnose von Anwendungen, die in ACCEPTED hängen, einschließlich erschöpftem Ressourcenanteil für ApplicationMaster
  4. Diagnose der NodeManager-Health, einschließlich vollgelaufener lokaler und Log-Verzeichnisse sowie Schwellenwerte für Disk-Ausfälle
  5. Dimensionierung des Container-Speichers über Heap, Overhead und vmem-Ratio, um Kills zu stoppen, die in Wahrheit JVM-Overhead sind
  6. Konfiguration von Preemption und Node Labels, wo gemischte Workloads mit unterschiedlichen Prioritäten einen Cluster teilen müssen

Resultat

Kunden halten ihre Hadoop-Cluster während der Migrationsphase zuverlässig am Laufen, ohne selbst knappe Hadoop-Expertise vorhalten zu müssen, und wiederkehrende Scheduler-Vorfälle werden auf Konfigurationsebene gelöst statt durch Neustarts des ResourceManagers.

Technologien

Apache HadoopYARNApache SparkApache Hive

Brauchen Sie Expertensupport für Apache Hadoop?

Die Senior Engineers von AceMQ für Apache Hadoop haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.