Torna a tutti i casi d'uso

SupportoPubblica amministrazione / Difesa

Competenze Hadoop sempre reperibili, per cluster che devono continuare a funzionare

Ente della pubblica amministrazione

Supporto con ingegneri dedicati per starvation delle code YARN, errori di allocazione dei container e instabilità dei NodeManager su cluster Hadoop di produzione.

Panoramica

Le competenze operative su Hadoop stanno uscendo dal mercato da anni, ma i cluster sono ancora in produzione e continuano a gestire workload regolamentati. AceMQ mette a disposizione ingegneri senior dedicati, 24/7, per i cluster che devono restare operativi fino al termine della migrazione.

Sfida

Tra gli incidenti di produzione più comuni: una singola coda che si prende tutto il cluster perché le impostazioni di capacity e maximum-capacity non sono mai state riconciliate, applicazioni bloccate in ACCEPTED perché la percentuale di risorse per l'ApplicationMaster è esaurita, NodeManager contrassegnati come unhealthy per le directory locali piene, e container terminati per superamento della memoria fisica quando il vero problema è l'overhead della JVM fuori dall'heap. Chi li ha già visti li diagnostica in pochi minuti; chi non li ha mai visti può impiegare giorni.

Ambiente

Cluster Hadoop on-premises con YARN e Capacity o Fair Scheduler, con workload misti Spark, Hive e MapReduce.

Approccio

Gli ingegneri AceMQ lavorano su log di ResourceManager e NodeManager, metriche delle code dello scheduler e exit code dei container per distinguere un problema di scheduling da un problema di risorse o da un problema di nodo. Prima si stabilizza, poi si applica la modifica alla configurazione delle code o al dimensionamento della memoria che elimina la recidiva.

Soluzione

  1. Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di livello 1
  2. Revisione di capacity, maximum-capacity e user-limit-factor delle code per risolvere starvation e crescita illimitata delle code
  3. Diagnosi delle applicazioni bloccate in ACCEPTED, incluso l'esaurimento della percentuale di risorse per l'ApplicationMaster
  4. Diagnosi dello stato di salute dei NodeManager, con copertura dell'esaurimento delle directory locali e di log e delle soglie di guasto dei dischi
  5. Dimensionamento della memoria dei container tra heap, overhead e rapporto vmem, per fermare le terminazioni dovute in realtà all'overhead della JVM
  6. Configurazione di preemption e node label dove workload misti con priorità diverse devono condividere lo stesso cluster

Esito

I clienti mantengono i cluster Hadoop affidabili per tutto il periodo di migrazione senza dover conservare internamente competenze Hadoop ormai rare, e gli incidenti ricorrenti dello scheduler vengono risolti a livello di configurazione anziché riavviando il ResourceManager.

Tecnologie

Apache HadoopYARNApache SparkApache Hive

Vi serve supporto specialistico per Apache Hadoop?

Gli ingegneri Apache Hadoop senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.