Panoramica
Decidere di abbandonare Pentaho non rende facoltativo il caricamento notturno. La maggior parte delle organizzazioni ha bisogno di qualcuno in grado di risolvere ancora i problemi di Kettle alle 3 di notte per i diciotto-trentasei mesi che una migrazione richiede realisticamente.
Sfida
Il caricamento notturno era diventato inaffidabile: trasformazioni che fallivano per pressione sulla memoria quando i volumi in ingresso crescevano, job che segnalavano il successo mentre uno step fallito a metà lasciava la tabella di destinazione caricata solo in parte, e un comportamento del driver JDBC cambiato dopo un upgrade del database. I problemi emergevano la mattina seguente come lamentele del business invece che come alert durante la notte.
Ambiente
Pentaho Data Integration su server Linux on-premises, sorgenti e destinazioni SQL Server e PostgreSQL, finestra batch notturna che alimenta il reporting operativo.
Approccio
AceMQ mette a disposizione ingegneri senior dedicati con obiettivi di risposta da 15 minuti, in base al piano, e copertura 24/7, senza alcuna coda di triage di livello 1 tra il cliente e chi è davvero in grado di leggere la trasformazione. Abbiamo risolto i guasti ricorrenti alla radice invece di riavviare i job, e ricostruito la gestione degli errori in modo che i caricamenti parziali falliscano in modo pulito.
Soluzione
- Corretti l'heap della JVM e il dimensionamento dei row set a livello di step per le trasformazioni che fallivano con i volumi in ingresso cresciuti
- Sostituito il caricamento parziale silenzioso con una gestione esplicita degli errori e confini transazionali
- Corrette le impostazioni del connection pool e del driver JDBC destabilizzate da un upgrade della piattaforma di database
- Aggiunto alerting a livello di job e di step, così che gli errori notturni facciano scattare una chiamata invece di attendere il mattino
- Realizzato un runbook per gli schemi di errore con maggiore probabilità di ripresentarsi prima del completamento della migrazione
Esito
I guasti notturni ricorrenti sono cessati e le tabelle di destinazione caricate a metà sono state eliminate facendo sì che gli errori parziali interrompano il caricamento. Il parco è abbastanza stabile da permettere alla migrazione di procedere secondo i piani anziché sotto la pressione dell'emergenza.