Torna a tutti i casi d'uso

SupportoTrasversale

Mantenere affidabile un parco Pentaho legacy mentre se ne pianifica la sostituzione

Azienda di logistica e distribuzione

Supporto continuativo per un parco Pentaho Data Integration che deve continuare a funzionare in modo affidabile mentre se ne pianifica la sostituzione a lungo termine.

Panoramica

Decidere di abbandonare Pentaho non rende facoltativo il caricamento notturno. La maggior parte delle organizzazioni ha bisogno di qualcuno in grado di risolvere ancora i problemi di Kettle alle 3 di notte per i diciotto-trentasei mesi che una migrazione richiede realisticamente.

Sfida

Il caricamento notturno era diventato inaffidabile: trasformazioni che fallivano per pressione sulla memoria quando i volumi in ingresso crescevano, job che segnalavano il successo mentre uno step fallito a metà lasciava la tabella di destinazione caricata solo in parte, e un comportamento del driver JDBC cambiato dopo un upgrade del database. I problemi emergevano la mattina seguente come lamentele del business invece che come alert durante la notte.

Ambiente

Pentaho Data Integration su server Linux on-premises, sorgenti e destinazioni SQL Server e PostgreSQL, finestra batch notturna che alimenta il reporting operativo.

Approccio

AceMQ mette a disposizione ingegneri senior dedicati con obiettivi di risposta da 15 minuti, in base al piano, e copertura 24/7, senza alcuna coda di triage di livello 1 tra il cliente e chi è davvero in grado di leggere la trasformazione. Abbiamo risolto i guasti ricorrenti alla radice invece di riavviare i job, e ricostruito la gestione degli errori in modo che i caricamenti parziali falliscano in modo pulito.

Soluzione

  1. Corretti l'heap della JVM e il dimensionamento dei row set a livello di step per le trasformazioni che fallivano con i volumi in ingresso cresciuti
  2. Sostituito il caricamento parziale silenzioso con una gestione esplicita degli errori e confini transazionali
  3. Corrette le impostazioni del connection pool e del driver JDBC destabilizzate da un upgrade della piattaforma di database
  4. Aggiunto alerting a livello di job e di step, così che gli errori notturni facciano scattare una chiamata invece di attendere il mattino
  5. Realizzato un runbook per gli schemi di errore con maggiore probabilità di ripresentarsi prima del completamento della migrazione

Esito

I guasti notturni ricorrenti sono cessati e le tabelle di destinazione caricate a metà sono state eliminate facendo sì che gli errori parziali interrompano il caricamento. Il parco è abbastanza stabile da permettere alla migrazione di procedere secondo i piani anziché sotto la pressione dell'emergenza.

Tecnologie

PentahoSQL ServerPostgreSQLDocker

Vi serve supporto specialistico per Pentaho?

Gli ingegneri Pentaho senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.