Torna a tutti i casi d'uso

RemediationIndustria / Manifattura

Slave Carte bloccati, memoria che non viene rilasciata e trasformazioni che non terminano mai

Produttore di beni industriali

Risoluzione dell'instabilità degli slave server Carte, in cui le trasformazioni in cluster di lunga durata si bloccavano, perdevano memoria e lasciavano sessioni Carte orfane.

Panoramica

L'esecuzione in cluster di Pentaho sposta il lavoro sugli slave server Carte e, quando questi si degradano, il sintomo è una trasformazione che semplicemente non finisce mai. Il master la segnala in esecuzione a tempo indefinito e l'unica leva a disposizione dell'operatore è un riavvio.

Sfida

Le trasformazioni in cluster avevano iniziato a bloccarsi più volte alla settimana. Le JVM degli slave Carte crescevano costantemente nel corso della giornata senza mai rilasciare memoria, le sessioni di trasformazione orfane si accumulavano nel registro dello slave e il riavvio del master non le eliminava. La finestra batch aveva iniziato a sforare nel turno di produzione.

Ambiente

Pentaho Data Integration con un master Carte e diversi slave server su host Linux on-premise, a supporto di un data warehouse di reporting per la produzione.

Approccio

Invece di riavviare uno slave bloccato, AceMQ ne ha acquisito heap dump e thread dump, individuando dove si accumulavano le righe e quale step causava il blocco. Abbiamo corretto il dimensionamento dei row set che provocava un buffering illimitato, aggiunto una gestione del ciclo di vita che rimuove dal registro dello slave le trasformazioni completate e containerizzato gli slave, in modo che un'istanza degradata venga sostituita anziché rimessa in piedi a fatica.

Soluzione

  1. Acquisizione di heap dump e thread dump dagli slave Carte bloccati per individuare lo step bloccante e il comportamento del buffering
  2. Correzione delle dimensioni dei row set e del partizionamento, così che gli step in cluster smettano di accumulare dati senza limiti
  3. Pulizia delle sessioni di trasformazione completate e orfane dal registro dello slave
  4. Containerizzazione degli slave Carte con health check, in modo che le istanze degradate vengano sostituite automaticamente
  5. Strumentazione della memoria delle JVM degli slave e del numero di trasformazioni attive, con soglie di allerta

Esito

I blocchi settimanali sono cessati e la finestra batch è tornata entro il tempo previsto. Il riavvio degli slave è diventato un evento raro e automatizzato, non più un'attività manuale notturna.

Tecnologie

PentahoPostgreSQLDockerKubernetes

Avete un problema di produzione su Pentaho?

Gli ingegneri Pentaho senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.