Überblick
Operative Hadoop-Expertise verschwindet seit Jahren vom Markt, doch die Cluster sind weiter in Produktion und tragen weiterhin regulierte Workloads. AceMQ stellt namentlich zugeordnete Senior Engineers 24/7 für die Cluster bereit, die laufen müssen, bis die Migration abgeschlossen ist.
Herausforderung
Typische Produktionsvorfälle: eine einzelne Queue, die den gesamten Cluster belegt, weil ihre capacity- und maximum-capacity-Einstellungen nie abgeglichen wurden; Anwendungen, die in ACCEPTED hängen, weil der Ressourcenanteil für ApplicationMaster erschöpft ist; NodeManager, die wegen voller lokaler Verzeichnisse als unhealthy markiert werden; und Container, die wegen Überschreitung des physischen Speichers beendet werden, obwohl das eigentliche Problem JVM-Overhead außerhalb des Heaps ist. Wer das schon gesehen hat, diagnostiziert es in Minuten – wer nicht, braucht womöglich Tage.
Umgebung
On-Premises-Hadoop-Cluster mit YARN und Capacity oder Fair Scheduler, gemischte Workloads aus Spark, Hive und MapReduce.
Vorgehen
AceMQ-Engineers arbeiten mit den Logs von ResourceManager und NodeManager, den Queue-Metriken des Schedulers und den Exit Codes der Container, um ein Scheduling-Problem von einem Ressourcen- oder Knotenproblem zu unterscheiden. Zuerst wird stabilisiert, danach folgt die Änderung an Queue-Konfiguration oder Speicherdimensionierung, die das Wiederauftreten verhindert.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Prüfung von capacity, maximum-capacity und user-limit-factor der Queues, um Starvation und unbegrenztes Queue-Wachstum zu beheben
- Diagnose von Anwendungen, die in ACCEPTED hängen, einschließlich erschöpftem Ressourcenanteil für ApplicationMaster
- Diagnose der NodeManager-Health, einschließlich vollgelaufener lokaler und Log-Verzeichnisse sowie Schwellenwerte für Disk-Ausfälle
- Dimensionierung des Container-Speichers über Heap, Overhead und vmem-Ratio, um Kills zu stoppen, die in Wahrheit JVM-Overhead sind
- Konfiguration von Preemption und Node Labels, wo gemischte Workloads mit unterschiedlichen Prioritäten einen Cluster teilen müssen
Resultat
Kunden halten ihre Hadoop-Cluster während der Migrationsphase zuverlässig am Laufen, ohne selbst knappe Hadoop-Expertise vorhalten zu müssen, und wiederkehrende Scheduler-Vorfälle werden auf Konfigurationsebene gelöst statt durch Neustarts des ResourceManagers.