Volver a todos los casos de uso

SoporteMultisectorial

Un entorno heredado de Pentaho confiable mientras planifica su reemplazo

Empresa de logística y distribución

Soporte continuo para un entorno de Pentaho Data Integration que debe seguir funcionando de forma confiable mientras se planifica su reemplazo a largo plazo.

Descripción general

Decidir dejar Pentaho no hace que la carga nocturna sea opcional. La mayoría de las organizaciones necesitan a alguien que todavía pueda resolver problemas de Kettle a las 3 de la mañana durante los dieciocho a treinta y seis meses que, siendo realistas, lleva una migración.

Desafío

La carga nocturna se había vuelto poco confiable: transformaciones que fallaban por presión de memoria cuando crecían los volúmenes de entrada, jobs que reportaban éxito mientras un paso con falla parcial dejaba la tabla de destino cargada a medias, y un comportamiento del driver JDBC que había cambiado después de una actualización de la base de datos. Las fallas aparecían a la mañana siguiente como quejas del negocio y no como alertas durante la noche.

Entorno

Pentaho Data Integration en servidores Linux on-premises, con SQL Server y PostgreSQL como orígenes y destinos, y una ventana batch nocturna que alimenta los reportes operativos.

Enfoque

AceMQ ofrece ingenieros sénior asignados con objetivos de respuesta desde 15 minutos, según el plan, y cobertura 24/7, sin una cola de triaje de nivel 1 entre el cliente y alguien que realmente sepa leer la transformación. Atacamos las fallas recurrentes en su origen en lugar de reiniciar los jobs, y rehicimos el manejo de errores para que las cargas parciales fallen de forma limpia.

Solución

  1. Corrección del heap de la JVM y del dimensionamiento del row set por paso en las transformaciones que fallaban con los nuevos volúmenes de entrada
  2. Reemplazo del comportamiento silencioso de carga parcial por un manejo de errores explícito y límites transaccionales
  3. Corrección de la configuración del pool de conexiones y del driver JDBC, desestabilizada por una actualización de la plataforma de base de datos
  4. Alertas a nivel de job y de paso para que las fallas nocturnas generen un aviso inmediato en lugar de esperar a la mañana
  5. Elaboración de un runbook para los patrones de falla con más probabilidades de repetirse antes de que termine la migración

Resultado final

Las fallas nocturnas recurrentes terminaron, y se eliminaron las tablas de destino cargadas a medias haciendo que las fallas parciales aborten la carga. El entorno es lo bastante estable como para que la migración avance según lo planificado y no bajo la presión de una emergencia.

Tecnologías

PentahoSQL ServerPostgreSQLDocker

¿Necesita soporte experto de Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.