Voltar para todos os casos de uso

SuporteMultissetorial

Manter confiável um ambiente Pentaho legado enquanto você planeja sua substituição

Empresa de logística e distribuição

Suporte contínuo a um ambiente Pentaho Data Integration que precisa continuar rodando com confiabilidade enquanto uma substituição de longo prazo é planejada.

Visão geral

Decidir sair do Pentaho não torna a carga noturna opcional. A maioria das organizações precisa de alguém que ainda consiga corrigir problemas no Kettle às 3 da manhã durante os dezoito a trinta e seis meses que uma migração leva na prática.

Desafio

A carga noturna tinha se tornado instável: transformações falhando por pressão de memória quando os volumes de entrada cresciam, jobs que reportavam sucesso enquanto uma etapa com falha parcial deixava a tabela de destino carregada pela metade e um comportamento do driver JDBC que tinha mudado após um upgrade do banco de dados. As falhas apareciam como reclamações da área de negócio na manhã seguinte, e não como alertas durante a noite.

Ambiente

Pentaho Data Integration em servidores Linux on-premises, com origens e destinos em SQL Server e PostgreSQL e uma janela de batch noturna que alimenta os relatórios operacionais.

Abordagem

A AceMQ oferece engenheiros sêniores designados, com metas de resposta a partir de 15 minutos, conforme o plano, e cobertura 24/7, sem nenhuma fila de triagem de nível 1 entre o cliente e alguém que realmente saiba ler a transformação. Tratamos as falhas recorrentes na origem em vez de simplesmente reiniciar jobs e reconstruímos o tratamento de erros para que as cargas parciais falhem de forma limpa.

Solução

  1. Correção do heap da JVM e do dimensionamento do row set por etapa nas transformações que falhavam com o aumento dos volumes de entrada
  2. Substituição das cargas parciais silenciosas por tratamento explícito de erros e limites transacionais
  3. Correção das configurações do pool de conexões e do driver JDBC desestabilizadas por um upgrade da plataforma de banco de dados
  4. Inclusão de alertas por job e por etapa, para que as falhas noturnas acionem o plantão em vez de esperar pela manhã
  5. Criação de um runbook para os padrões de falha com maior probabilidade de se repetir antes da conclusão da migração

Resultado obtido

As falhas noturnas recorrentes acabaram, e as tabelas de destino carregadas pela metade foram eliminadas, já que agora as falhas parciais abortam a carga. O ambiente está estável o suficiente para que a migração siga conforme o planejado, e não sob pressão de emergência.

Tecnologias

PentahoSQL ServerPostgreSQLDocker

Precisa de suporte especializado em Pentaho?

Os engenheiros Pentaho sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.