Descripción general
La ejecución en clúster de Pentaho traslada el trabajo a servidores esclavos de Carte, y cuando esos esclavos se degradan, el síntoma es una transformación que sencillamente nunca termina. El master la muestra como en ejecución de forma indefinida, y lo único que puede hacer el operador es reiniciar.
Reto
Las transformaciones en clúster empezaron a colgarse varias veces por semana. Las JVM de los esclavos de Carte crecían de forma constante a lo largo del día y su memoria nunca se recuperaba, las sesiones de transformación huérfanas se acumulaban en el registro del esclavo y reiniciar el master no las eliminaba. La ventana batch empezó a invadir el turno de producción.
Entorno
Pentaho Data Integration con un master de Carte y varios servidores esclavos en hosts Linux on-premises, que alimentan un data warehouse de informes de fabricación.
Enfoque
AceMQ capturó heap dumps y thread dumps de un esclavo colgado en lugar de reiniciarlo, lo que permitió identificar dónde se acumulaban las filas y qué paso estaba bloqueando. Corregimos el tamaño de los row sets que provocaba un buffering sin límite, añadimos una gestión del ciclo de vida para que las transformaciones completadas se eliminen del registro del esclavo y contenerizamos los esclavos para que una instancia degradada se sustituya en lugar de mantenerla a duras penas.
Solución
- Captura de heap dumps y thread dumps de los esclavos de Carte colgados para identificar el paso bloqueante y el comportamiento del buffering
- Corrección del tamaño de los row sets y del particionado para que los pasos en clúster dejen de acumular datos sin límite
- Limpieza de las sesiones de transformación completadas y huérfanas en el registro del esclavo
- Contenerización de los esclavos de Carte con health checks para que las instancias degradadas se sustituyan automáticamente
- Instrumentación de la memoria de la JVM de los esclavos y del número de transformaciones activas con umbrales de alerta
Resultado final
Los cuelgues semanales cesaron y la ventana batch volvió a terminar dentro del tiempo asignado. Los reinicios de esclavos pasaron a ser un evento excepcional y automatizado en lugar de una tarea manual nocturna.