Visão geral
A execução clusterizada do Pentaho transfere o trabalho para servidores slave do Carte e, quando esses slaves se degradam, o sintoma é uma transformação que simplesmente nunca termina. O master a mostra como em execução indefinidamente, e a única alternativa do operador é reiniciar.
Desafio
As transformações clusterizadas passaram a travar várias vezes por semana. As JVMs dos slaves do Carte cresciam continuamente ao longo do dia e a memória nunca era liberada, sessões de transformação órfãs se acumulavam no registro do slave e reiniciar o master não as eliminava. A janela de batch começou a invadir o turno de produção.
Ambiente
Pentaho Data Integration com um master Carte e vários servidores slave em hosts Linux on-premises, alimentando um data warehouse de relatórios industriais.
Abordagem
A AceMQ capturou heap dumps e thread dumps de um slave travado em vez de reiniciá-lo, o que mostrou onde as linhas estavam se acumulando e qual step estava bloqueando. Corrigimos o dimensionamento dos row sets que causava buffering sem limite, adicionamos tratamento de ciclo de vida para que as transformações concluídas fossem removidas do registro do slave e conteinerizamos os slaves para que uma instância degradada fosse substituída, e não remediada.
Solução
- Captura de heap dumps e thread dumps dos slaves do Carte travados para identificar o step bloqueante e o comportamento de buffering
- Correção do tamanho dos row sets e do particionamento para que os steps clusterizados parassem de fazer buffering sem limite
- Limpeza das sessões de transformação concluídas e órfãs no registro do slave
- Conteinerização dos slaves do Carte com health checks, para que instâncias degradadas sejam substituídas automaticamente
- Instrumentação da memória da JVM dos slaves e da contagem de transformações ativas, com limites de alerta
Resultado obtido
Os travamentos semanais pararam e a janela de batch voltou a caber no tempo previsto. A reinicialização dos slaves passou a ser um evento raro e automatizado, e não mais uma tarefa manual de madrugada.