Descripción general
La ejecución en clúster de Pentaho traslada el trabajo a servidores slave de Carte y, cuando esos slaves se degradan, el síntoma es una transformación que simplemente nunca termina. El master la reporta como en ejecución indefinidamente, y la única palanca del operador es un reinicio.
Desafío
Las transformaciones en clúster empezaron a colgarse varias veces por semana. Las JVM de los slaves de Carte crecían de forma constante a lo largo del día y nunca se recuperaba esa memoria, las sesiones de transformación huérfanas se acumulaban en el registro del slave y reiniciar el master no las eliminaba. La ventana de procesamiento batch empezó a extenderse hasta el turno de producción.
Entorno
Pentaho Data Integration con un master de Carte y varios servidores slave en hosts Linux on-premises, que alimentan un data warehouse de reportes de manufactura.
Enfoque
AceMQ capturó heap dumps y thread dumps de un slave colgado en lugar de reiniciarlo, lo que permitió identificar dónde se acumulaban las filas y qué paso estaba bloqueando. Corregimos el tamaño de los row sets que causaba un buffering ilimitado, agregamos un manejo del ciclo de vida para que las transformaciones completadas se eliminen del registro del slave y llevamos los slaves a contenedores para que una instancia degradada se reemplace en lugar de mantenerla a duras penas.
Solución
- Captura de heap dumps y thread dumps de slaves de Carte colgados para identificar el paso que bloqueaba y el comportamiento del buffering
- Corrección del tamaño de los row sets y del particionamiento para que los pasos en clúster dejen de acumular datos en buffer sin límite
- Limpieza de las sesiones de transformación completadas y huérfanas en el registro del slave
- Slaves de Carte en contenedores con health checks, para que las instancias degradadas se reemplacen automáticamente
- Instrumentación de la memoria de la JVM de los slaves y de la cantidad de transformaciones activas, con umbrales de alerta
Resultado final
Los cuelgues semanales se detuvieron y la ventana batch volvió a completarse dentro del tiempo asignado. Los reinicios de los slaves pasaron a ser un evento poco frecuente y automatizado, en lugar de una tarea manual de madrugada.