Volver a todos los casos de uso

RemediaciónIndustria / Manufactura

Slaves de Carte colgados, fugas de memoria y transformaciones que nunca terminan

Fabricante de productos industriales

Resolución de la inestabilidad de los servidores slave de Carte, en los que las transformaciones en clúster de larga duración se colgaban, perdían memoria y dejaban sesiones de Carte huérfanas.

Descripción general

La ejecución en clúster de Pentaho traslada el trabajo a servidores slave de Carte y, cuando esos slaves se degradan, el síntoma es una transformación que simplemente nunca termina. El master la reporta como en ejecución indefinidamente, y la única palanca del operador es un reinicio.

Desafío

Las transformaciones en clúster empezaron a colgarse varias veces por semana. Las JVM de los slaves de Carte crecían de forma constante a lo largo del día y nunca se recuperaba esa memoria, las sesiones de transformación huérfanas se acumulaban en el registro del slave y reiniciar el master no las eliminaba. La ventana de procesamiento batch empezó a extenderse hasta el turno de producción.

Entorno

Pentaho Data Integration con un master de Carte y varios servidores slave en hosts Linux on-premises, que alimentan un data warehouse de reportes de manufactura.

Enfoque

AceMQ capturó heap dumps y thread dumps de un slave colgado en lugar de reiniciarlo, lo que permitió identificar dónde se acumulaban las filas y qué paso estaba bloqueando. Corregimos el tamaño de los row sets que causaba un buffering ilimitado, agregamos un manejo del ciclo de vida para que las transformaciones completadas se eliminen del registro del slave y llevamos los slaves a contenedores para que una instancia degradada se reemplace en lugar de mantenerla a duras penas.

Solución

  1. Captura de heap dumps y thread dumps de slaves de Carte colgados para identificar el paso que bloqueaba y el comportamiento del buffering
  2. Corrección del tamaño de los row sets y del particionamiento para que los pasos en clúster dejen de acumular datos en buffer sin límite
  3. Limpieza de las sesiones de transformación completadas y huérfanas en el registro del slave
  4. Slaves de Carte en contenedores con health checks, para que las instancias degradadas se reemplacen automáticamente
  5. Instrumentación de la memoria de la JVM de los slaves y de la cantidad de transformaciones activas, con umbrales de alerta

Resultado final

Los cuelgues semanales se detuvieron y la ventana batch volvió a completarse dentro del tiempo asignado. Los reinicios de los slaves pasaron a ser un evento poco frecuente y automatizado, en lugar de una tarea manual de madrugada.

Tecnologías

PentahoPostgreSQLDockerKubernetes

¿Enfrenta un problema de Pentaho en producción?

Los ingenieros sénior de Pentaho de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.