Voltar para todos os casos de uso

CorreçãoIndústria / manufatura

Slaves do Carte travados, vazamento de memória e transformações que nunca terminam

Fabricante de produtos industriais

Resolução da instabilidade dos servidores slave do Carte, em que transformações clusterizadas de longa duração travavam, vazavam memória e deixavam sessões órfãs no Carte.

Visão geral

A execução clusterizada do Pentaho transfere o trabalho para servidores slave do Carte e, quando esses slaves se degradam, o sintoma é uma transformação que simplesmente nunca termina. O master a mostra como em execução indefinidamente, e a única alternativa do operador é reiniciar.

Desafio

As transformações clusterizadas passaram a travar várias vezes por semana. As JVMs dos slaves do Carte cresciam continuamente ao longo do dia e a memória nunca era liberada, sessões de transformação órfãs se acumulavam no registro do slave e reiniciar o master não as eliminava. A janela de batch começou a invadir o turno de produção.

Ambiente

Pentaho Data Integration com um master Carte e vários servidores slave em hosts Linux on-premises, alimentando um data warehouse de relatórios industriais.

Abordagem

A AceMQ capturou heap dumps e thread dumps de um slave travado em vez de reiniciá-lo, o que mostrou onde as linhas estavam se acumulando e qual step estava bloqueando. Corrigimos o dimensionamento dos row sets que causava buffering sem limite, adicionamos tratamento de ciclo de vida para que as transformações concluídas fossem removidas do registro do slave e conteinerizamos os slaves para que uma instância degradada fosse substituída, e não remediada.

Solução

  1. Captura de heap dumps e thread dumps dos slaves do Carte travados para identificar o step bloqueante e o comportamento de buffering
  2. Correção do tamanho dos row sets e do particionamento para que os steps clusterizados parassem de fazer buffering sem limite
  3. Limpeza das sessões de transformação concluídas e órfãs no registro do slave
  4. Conteinerização dos slaves do Carte com health checks, para que instâncias degradadas sejam substituídas automaticamente
  5. Instrumentação da memória da JVM dos slaves e da contagem de transformações ativas, com limites de alerta

Resultado obtido

Os travamentos semanais pararam e a janela de batch voltou a caber no tempo previsto. A reinicialização dos slaves passou a ser um evento raro e automatizado, e não mais uma tarefa manual de madrugada.

Tecnologias

PentahoPostgreSQLDockerKubernetes

Enfrentando um problema de produção com Pentaho?

Os engenheiros Pentaho sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.