Descripción general
Hoy, la mayoría de las conversaciones que tenemos sobre Pentaho son conversaciones de salida. Los equipos cargan con cientos de transformaciones de Kettle que solo entiende un grupo cada vez más reducido de personas, sobre un runtime para el que cada vez es más difícil conseguir personal y licencias, y que alimenta un data warehouse capaz de hacer por sí mismo la mayor parte del trabajo de transformación.
Desafío
La organización tenía unas cuatrocientas transformaciones y jobs acumulados durante más de una década. La lógica de negocio vivía en la configuración de los pasos y no en el código, la programación de tareas estaba repartida entre jobs de Kettle y cron externo, y los dos ingenieros que mejor conocían el entorno estaban cerca de jubilarse. Una reescritura completa se había estimado en años y se había postergado una y otra vez.
Entorno
Pentaho Data Integration on-premises con un clúster de Carte, que alimenta un data warehouse on-premises y un conjunto creciente de destinos en la nube.
Enfoque
AceMQ impulsó una migración por etapas organizada por dominio de datos y no por transformación. Ejecutamos la extracción y la transformación en paralelo, comparando los resultados fila por fila hasta que cada dominio coincidiera, y solo entonces dimos de baja el flujo de Pentaho de ese dominio. La extracción pasó a una herramienta de ingesta moderna y la lógica de transformación pasó a modelos SQL nativos del data warehouse, que es donde corresponde.
Solución
- Análisis de los archivos KTR y KJB para construir un grafo de dependencias y priorizar las transformaciones según su impacto aguas abajo
- Agrupación del entorno en olas de migración por dominio de datos, no por archivo
- Traslado de la extracción a una capa de ingesta moderna y reimplementación de la lógica de transformación como modelos SQL en el data warehouse
- Ejecución en paralelo de los pipelines antiguos y nuevos con conciliación automatizada a nivel de fila y de agregados en cada ola
- Retiro de los jobs de Pentaho por dominio solo después de que la conciliación se mantuviera limpia durante un ciclo completo de reportes
- Capacitación del equipo interno en el nuevo stack durante la migración y no después
Resultado final
Las primeras olas hicieron el corte con la conciliación limpia y sin huecos en los reportes, y lo que queda de Pentaho se redujo a un conjunto bien definido de dominios con una fecha de fin programada. Lo más importante: la lógica terminó en SQL con control de versiones que todo el equipo puede leer.