Descripción general
Decidir abandonar Pentaho no hace que la carga nocturna sea opcional. La mayoría de las organizaciones necesitan a alguien que siga siendo capaz de resolver problemas de Kettle a las 3 de la madrugada durante los dieciocho a treinta y seis meses que, siendo realistas, dura una migración.
Reto
La carga nocturna se había vuelto poco fiable: transformaciones que fallaban por presión de memoria al crecer los volúmenes de entrada, jobs que informaban de éxito mientras un paso fallido a medias dejaba la tabla de destino cargada a medias, y un comportamiento del driver JDBC que había cambiado tras una actualización de la base de datos. Los fallos aparecían a la mañana siguiente como quejas del negocio en lugar de como alertas durante la noche.
Entorno
Pentaho Data Integration en servidores Linux on-premises, con orígenes y destinos en SQL Server y PostgreSQL y una ventana batch nocturna que alimenta los informes operativos.
Enfoque
AceMQ ofrece ingenieros sénior asignados con objetivos de respuesta desde 15 minutos, según el plan, y cobertura 24/7, sin una cola de triaje de nivel 1 entre el cliente y alguien que realmente sepa leer la transformación. Atacamos los fallos recurrentes en su origen en lugar de relanzar jobs, y rehicimos la gestión de errores para que las cargas parciales fallen de forma limpia.
Solución
- Corrección del heap de la JVM y del tamaño de los row sets por paso en las transformaciones que fallaban con los nuevos volúmenes de entrada
- Sustitución de las cargas parciales silenciosas por una gestión de errores explícita y límites transaccionales
- Corrección de la configuración del pool de conexiones y del driver JDBC desestabilizada por una actualización de la plataforma de base de datos
- Alertas a nivel de job y de paso para que los fallos nocturnos avisen a la guardia en lugar de esperar a la mañana
- Elaboración de un runbook para los patrones de fallo con más probabilidades de repetirse antes de que concluya la migración
Resultado final
Los fallos nocturnos recurrentes desaparecieron y se eliminaron las tablas de destino cargadas a medias, ya que ahora un fallo parcial aborta la carga. El entorno es lo bastante estable como para que la migración avance según lo previsto y no bajo la presión de una emergencia.