Volver a todos los casos de uso

ConsultoríaSalud / Beneficios

Salir de Pentaho sin reescribir todo de una vez

Aseguradora de salud

Planificación y ejecución de una migración por etapas desde Pentaho Data Integration hacia un stack ELT moderno, sin un corte de una sola vez de cientos de transformaciones.

Descripción general

Hoy, la mayoría de las conversaciones que tenemos sobre Pentaho son conversaciones de salida. Los equipos cargan con cientos de transformaciones de Kettle que solo entiende un grupo cada vez más reducido de personas, sobre un runtime para el que cada vez es más difícil conseguir personal y licencias, y que alimenta un data warehouse capaz de hacer por sí mismo la mayor parte del trabajo de transformación.

Desafío

La organización tenía unas cuatrocientas transformaciones y jobs acumulados durante más de una década. La lógica de negocio vivía en la configuración de los pasos y no en el código, la programación de tareas estaba repartida entre jobs de Kettle y cron externo, y los dos ingenieros que mejor conocían el entorno estaban cerca de jubilarse. Una reescritura completa se había estimado en años y se había postergado una y otra vez.

Entorno

Pentaho Data Integration on-premises con un clúster de Carte, que alimenta un data warehouse on-premises y un conjunto creciente de destinos en la nube.

Enfoque

AceMQ impulsó una migración por etapas organizada por dominio de datos y no por transformación. Ejecutamos la extracción y la transformación en paralelo, comparando los resultados fila por fila hasta que cada dominio coincidiera, y solo entonces dimos de baja el flujo de Pentaho de ese dominio. La extracción pasó a una herramienta de ingesta moderna y la lógica de transformación pasó a modelos SQL nativos del data warehouse, que es donde corresponde.

Solución

  1. Análisis de los archivos KTR y KJB para construir un grafo de dependencias y priorizar las transformaciones según su impacto aguas abajo
  2. Agrupación del entorno en olas de migración por dominio de datos, no por archivo
  3. Traslado de la extracción a una capa de ingesta moderna y reimplementación de la lógica de transformación como modelos SQL en el data warehouse
  4. Ejecución en paralelo de los pipelines antiguos y nuevos con conciliación automatizada a nivel de fila y de agregados en cada ola
  5. Retiro de los jobs de Pentaho por dominio solo después de que la conciliación se mantuviera limpia durante un ciclo completo de reportes
  6. Capacitación del equipo interno en el nuevo stack durante la migración y no después

Resultado final

Las primeras olas hicieron el corte con la conciliación limpia y sin huecos en los reportes, y lo que queda de Pentaho se redujo a un conjunto bien definido de dominios con una fecha de fin programada. Lo más importante: la lógica terminó en SQL con control de versiones que todo el equipo puede leer.

Tecnologías

PentahoAirbytedbtPostgreSQLKubernetes

¿Necesita orientación de arquitectura para Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.