Volver a todos los casos de uso

RemediaciónIndustria / Fabricación

Esclavos de Carte colgados, fugas de memoria y transformaciones que nunca terminan

Fabricante de productos industriales

Resolución de la inestabilidad de los servidores esclavos de Carte, en los que las transformaciones en clúster de larga duración se colgaban, perdían memoria y dejaban sesiones de Carte huérfanas.

Descripción general

La ejecución en clúster de Pentaho traslada el trabajo a servidores esclavos de Carte, y cuando esos esclavos se degradan, el síntoma es una transformación que sencillamente nunca termina. El master la muestra como en ejecución de forma indefinida, y lo único que puede hacer el operador es reiniciar.

Reto

Las transformaciones en clúster empezaron a colgarse varias veces por semana. Las JVM de los esclavos de Carte crecían de forma constante a lo largo del día y su memoria nunca se recuperaba, las sesiones de transformación huérfanas se acumulaban en el registro del esclavo y reiniciar el master no las eliminaba. La ventana batch empezó a invadir el turno de producción.

Entorno

Pentaho Data Integration con un master de Carte y varios servidores esclavos en hosts Linux on-premises, que alimentan un data warehouse de informes de fabricación.

Enfoque

AceMQ capturó heap dumps y thread dumps de un esclavo colgado en lugar de reiniciarlo, lo que permitió identificar dónde se acumulaban las filas y qué paso estaba bloqueando. Corregimos el tamaño de los row sets que provocaba un buffering sin límite, añadimos una gestión del ciclo de vida para que las transformaciones completadas se eliminen del registro del esclavo y contenerizamos los esclavos para que una instancia degradada se sustituya en lugar de mantenerla a duras penas.

Solución

  1. Captura de heap dumps y thread dumps de los esclavos de Carte colgados para identificar el paso bloqueante y el comportamiento del buffering
  2. Corrección del tamaño de los row sets y del particionado para que los pasos en clúster dejen de acumular datos sin límite
  3. Limpieza de las sesiones de transformación completadas y huérfanas en el registro del esclavo
  4. Contenerización de los esclavos de Carte con health checks para que las instancias degradadas se sustituyan automáticamente
  5. Instrumentación de la memoria de la JVM de los esclavos y del número de transformaciones activas con umbrales de alerta

Resultado final

Los cuelgues semanales cesaron y la ventana batch volvió a terminar dentro del tiempo asignado. Los reinicios de esclavos pasaron a ser un evento excepcional y automatizado en lugar de una tarea manual nocturna.

Tecnologías

PentahoPostgreSQLDockerKubernetes

¿Se enfrenta a un problema de Pentaho en producción?

Los ingenieros sénior de Pentaho de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.