Panoramica
Le competenze operative su Hadoop stanno uscendo dal mercato da anni, ma i cluster sono ancora in produzione e continuano a gestire workload regolamentati. AceMQ mette a disposizione ingegneri senior dedicati, 24/7, per i cluster che devono restare operativi fino al termine della migrazione.
Sfida
Tra gli incidenti di produzione più comuni: una singola coda che si prende tutto il cluster perché le impostazioni di capacity e maximum-capacity non sono mai state riconciliate, applicazioni bloccate in ACCEPTED perché la percentuale di risorse per l'ApplicationMaster è esaurita, NodeManager contrassegnati come unhealthy per le directory locali piene, e container terminati per superamento della memoria fisica quando il vero problema è l'overhead della JVM fuori dall'heap. Chi li ha già visti li diagnostica in pochi minuti; chi non li ha mai visti può impiegare giorni.
Ambiente
Cluster Hadoop on-premises con YARN e Capacity o Fair Scheduler, con workload misti Spark, Hive e MapReduce.
Approccio
Gli ingegneri AceMQ lavorano su log di ResourceManager e NodeManager, metriche delle code dello scheduler e exit code dei container per distinguere un problema di scheduling da un problema di risorse o da un problema di nodo. Prima si stabilizza, poi si applica la modifica alla configurazione delle code o al dimensionamento della memoria che elimina la recidiva.
Soluzione
- Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di livello 1
- Revisione di capacity, maximum-capacity e user-limit-factor delle code per risolvere starvation e crescita illimitata delle code
- Diagnosi delle applicazioni bloccate in ACCEPTED, incluso l'esaurimento della percentuale di risorse per l'ApplicationMaster
- Diagnosi dello stato di salute dei NodeManager, con copertura dell'esaurimento delle directory locali e di log e delle soglie di guasto dei dischi
- Dimensionamento della memoria dei container tra heap, overhead e rapporto vmem, per fermare le terminazioni dovute in realtà all'overhead della JVM
- Configurazione di preemption e node label dove workload misti con priorità diverse devono condividere lo stesso cluster
Esito
I clienti mantengono i cluster Hadoop affidabili per tutto il periodo di migrazione senza dover conservare internamente competenze Hadoop ormai rare, e gli incidenti ricorrenti dello scheduler vengono risolti a livello di configurazione anziché riavviando il ResourceManager.