Volver a todos los casos de uso

SoporteMultisectorial

Mantener fiable un entorno Pentaho heredado mientras planifica su sustitución

Empresa de logística y distribución

Soporte continuo para un entorno de Pentaho Data Integration que debe seguir funcionando de forma fiable mientras se planifica su sustitución a largo plazo.

Descripción general

Decidir abandonar Pentaho no hace que la carga nocturna sea opcional. La mayoría de las organizaciones necesitan a alguien que siga siendo capaz de resolver problemas de Kettle a las 3 de la madrugada durante los dieciocho a treinta y seis meses que, siendo realistas, dura una migración.

Reto

La carga nocturna se había vuelto poco fiable: transformaciones que fallaban por presión de memoria al crecer los volúmenes de entrada, jobs que informaban de éxito mientras un paso fallido a medias dejaba la tabla de destino cargada a medias, y un comportamiento del driver JDBC que había cambiado tras una actualización de la base de datos. Los fallos aparecían a la mañana siguiente como quejas del negocio en lugar de como alertas durante la noche.

Entorno

Pentaho Data Integration en servidores Linux on-premises, con orígenes y destinos en SQL Server y PostgreSQL y una ventana batch nocturna que alimenta los informes operativos.

Enfoque

AceMQ ofrece ingenieros sénior asignados con objetivos de respuesta desde 15 minutos, según el plan, y cobertura 24/7, sin una cola de triaje de nivel 1 entre el cliente y alguien que realmente sepa leer la transformación. Atacamos los fallos recurrentes en su origen en lugar de relanzar jobs, y rehicimos la gestión de errores para que las cargas parciales fallen de forma limpia.

Solución

  1. Corrección del heap de la JVM y del tamaño de los row sets por paso en las transformaciones que fallaban con los nuevos volúmenes de entrada
  2. Sustitución de las cargas parciales silenciosas por una gestión de errores explícita y límites transaccionales
  3. Corrección de la configuración del pool de conexiones y del driver JDBC desestabilizada por una actualización de la plataforma de base de datos
  4. Alertas a nivel de job y de paso para que los fallos nocturnos avisen a la guardia en lugar de esperar a la mañana
  5. Elaboración de un runbook para los patrones de fallo con más probabilidades de repetirse antes de que concluya la migración

Resultado final

Los fallos nocturnos recurrentes desaparecieron y se eliminaron las tablas de destino cargadas a medias, ya que ahora un fallo parcial aborta la carga. El entorno es lo bastante estable como para que la migración avance según lo previsto y no bajo la presión de una emergencia.

Tecnologías

PentahoSQL ServerPostgreSQLDocker

¿Necesita soporte experto de Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.