Volver a todos los casos de uso

ConsultoríaSanidad / Beneficios sociales

Salir de Pentaho sin reescribirlo todo de una vez

Aseguradora sanitaria

Planificación y ejecución de una salida escalonada de Pentaho Data Integration hacia un stack ELT moderno, sin un corte de golpe de cientos de transformaciones.

Descripción general

Hoy en día, la mayoría de las conversaciones que tenemos sobre Pentaho tratan de cómo salir de él. Los equipos arrastran cientos de transformaciones de Kettle que solo entiende un grupo de personas cada vez más reducido, sobre un runtime para el que cada vez cuesta más encontrar personal y licencias, y que alimenta un data warehouse capaz de asumir por sí mismo la mayor parte del trabajo de transformación.

Reto

La organización había acumulado unas cuatrocientas transformaciones y jobs a lo largo de más de una década. La lógica de negocio vivía en la configuración de los pasos y no en código, la planificación estaba repartida entre jobs de Kettle y un cron externo, y los dos ingenieros que mejor conocían el entorno estaban a punto de jubilarse. Una reescritura completa se había estimado en años y se había aplazado una y otra vez.

Entorno

Pentaho Data Integration on-premise con un clúster Carte, que alimentaba un data warehouse on-premise y un conjunto creciente de destinos en la nube.

Enfoque

AceMQ apostó por una migración escalonada organizada por dominio de datos y no por transformación. Ejecutamos la extracción y la transformación en paralelo, comparando las salidas fila a fila hasta que cada dominio coincidía, y solo entonces retiramos la ruta de Pentaho para ese dominio concreto. La extracción pasó a una herramienta de ingesta moderna y la lógica de transformación se trasladó a modelos SQL nativos del data warehouse, que es donde debe estar.

Solución

  1. Análisis de los ficheros KTR y KJB para construir un grafo de dependencias y priorizar las transformaciones según su impacto aguas abajo
  2. Agrupación del entorno en oleadas de migración por dominio de datos, no por fichero
  3. Traslado de la extracción a una capa de ingesta moderna y reimplementación de la lógica de transformación como modelos SQL en el data warehouse
  4. Ejecución en paralelo de los pipelines antiguos y nuevos, con conciliación automática a nivel de fila y de agregados en cada oleada
  5. Retirada de los jobs de Pentaho por dominio solo cuando la conciliación se mantenía limpia durante un ciclo de reporting completo
  6. Formación del equipo interno en el nuevo stack durante la migración y no después

Resultado final

Las primeras oleadas se pusieron en producción con la conciliación limpia y sin huecos en los informes, y lo que quedaba de Pentaho se redujo a un conjunto bien definido de dominios con fecha de fin programada. Y, sobre todo, la lógica acabó en SQL bajo control de versiones que todo el equipo puede leer.

Tecnologías

PentahoAirbytedbtPostgreSQLKubernetes

¿Necesita asesoramiento de arquitectura para Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.