Voltar para todos os casos de uso

AvaliaçãoEnergia / serviços públicos

Recuperar o que uma década de transformações do Kettle sem documentação realmente faz

Holding do setor de utilities

Reconstrução da linhagem e da documentação de um conjunto não documentado de transformações legadas do Kettle, antes que alguém tente alterá-las ou substituí-las.

Visão geral

Não dá para migrar ou modificar com segurança aquilo que você não consegue ler. Ambientes Pentaho antigos normalmente não têm documentação de linhagem, e o XML das transformações é a única especificação das regras de negócio que sobreviveu.

Desafio

A empresa herdou um ambiente Pentaho por meio de duas aquisições. Não havia nenhum diagrama do que alimentava o quê, várias transformações gravavam em tabelas que ninguém sabia explicar e pelo menos um job noturno vinha falhando parcialmente havia meses sem que ninguém conseguisse determinar se o resultado ainda importava.

Ambiente

Pentaho Data Integration on-premises lendo de SQL Server e de arquivos planos depositados em diretórios, gravando em um data warehouse de relatórios on-premises e em várias extrações downstream.

Abordagem

A AceMQ fez o parsing direto do XML das transformações e dos jobs para extrair tabelas de origem, tabelas de destino, a lógica de cada step e a orquestração dos jobs e, depois, reconciliou essa visão estática com os logs de execução e com a atividade real de escrita no banco de dados, para separar o que roda do que apenas existe.

Solução

  1. Parsing dos arquivos KTR e KJB para extrair a linhagem no nível de tabela e de coluna sem precisar da ferramenta de design
  2. Reconciliação da linhagem estática com os logs de execução para distinguir jobs ativos de jobs inativos
  3. Documentação das regras de negócio embutidas em steps de JavaScript, calculators e SQL escrito à mão
  4. Identificação de tabelas de destino órfãs e de transformações sem nenhum consumidor downstream
  5. Diagramas de linhagem e um catálogo de regras por transformação em um formato que a equipe consegue manter

Resultado obtido

A equipe passou a ter um mapa legível de um ambiente que até então era praticamente opaco, desativou um conjunto de jobs que comprovadamente não alimentavam nada e ficou com os artefatos necessários para definir o escopo de uma substituição com honestidade, em vez de no chute.

Tecnologias

PentahoPostgreSQLSQL Serverdbt

Pronto para um health check do Pentaho?

Os engenheiros Pentaho sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.