Visão geral
Decidir sair do Pentaho não torna a carga noturna opcional. A maioria das organizações precisa de alguém que ainda consiga corrigir problemas no Kettle às 3 da manhã durante os dezoito a trinta e seis meses que uma migração leva na prática.
Desafio
A carga noturna tinha se tornado instável: transformações falhando por pressão de memória quando os volumes de entrada cresciam, jobs que reportavam sucesso enquanto uma etapa com falha parcial deixava a tabela de destino carregada pela metade e um comportamento do driver JDBC que tinha mudado após um upgrade do banco de dados. As falhas apareciam como reclamações da área de negócio na manhã seguinte, e não como alertas durante a noite.
Ambiente
Pentaho Data Integration em servidores Linux on-premises, com origens e destinos em SQL Server e PostgreSQL e uma janela de batch noturna que alimenta os relatórios operacionais.
Abordagem
A AceMQ oferece engenheiros sêniores designados, com metas de resposta a partir de 15 minutos, conforme o plano, e cobertura 24/7, sem nenhuma fila de triagem de nível 1 entre o cliente e alguém que realmente saiba ler a transformação. Tratamos as falhas recorrentes na origem em vez de simplesmente reiniciar jobs e reconstruímos o tratamento de erros para que as cargas parciais falhem de forma limpa.
Solução
- Correção do heap da JVM e do dimensionamento do row set por etapa nas transformações que falhavam com o aumento dos volumes de entrada
- Substituição das cargas parciais silenciosas por tratamento explícito de erros e limites transacionais
- Correção das configurações do pool de conexões e do driver JDBC desestabilizadas por um upgrade da plataforma de banco de dados
- Inclusão de alertas por job e por etapa, para que as falhas noturnas acionem o plantão em vez de esperar pela manhã
- Criação de um runbook para os padrões de falha com maior probabilidade de se repetir antes da conclusão da migração
Resultado obtido
As falhas noturnas recorrentes acabaram, e as tabelas de destino carregadas pela metade foram eliminadas, já que agora as falhas parciais abortam a carga. O ambiente está estável o suficiente para que a migração siga conforme o planejado, e não sob pressão de emergência.