Visão geral
Não dá para migrar ou modificar com segurança aquilo que você não consegue ler. Ambientes Pentaho antigos normalmente não têm documentação de linhagem, e o XML das transformações é a única especificação das regras de negócio que sobreviveu.
Desafio
A empresa herdou um ambiente Pentaho por meio de duas aquisições. Não havia nenhum diagrama do que alimentava o quê, várias transformações gravavam em tabelas que ninguém sabia explicar e pelo menos um job noturno vinha falhando parcialmente havia meses sem que ninguém conseguisse determinar se o resultado ainda importava.
Ambiente
Pentaho Data Integration on-premises lendo de SQL Server e de arquivos planos depositados em diretórios, gravando em um data warehouse de relatórios on-premises e em várias extrações downstream.
Abordagem
A AceMQ fez o parsing direto do XML das transformações e dos jobs para extrair tabelas de origem, tabelas de destino, a lógica de cada step e a orquestração dos jobs e, depois, reconciliou essa visão estática com os logs de execução e com a atividade real de escrita no banco de dados, para separar o que roda do que apenas existe.
Solução
- Parsing dos arquivos KTR e KJB para extrair a linhagem no nível de tabela e de coluna sem precisar da ferramenta de design
- Reconciliação da linhagem estática com os logs de execução para distinguir jobs ativos de jobs inativos
- Documentação das regras de negócio embutidas em steps de JavaScript, calculators e SQL escrito à mão
- Identificação de tabelas de destino órfãs e de transformações sem nenhum consumidor downstream
- Diagramas de linhagem e um catálogo de regras por transformação em um formato que a equipe consegue manter
Resultado obtido
A equipe passou a ter um mapa legível de um ambiente que até então era praticamente opaco, desativou um conjunto de jobs que comprovadamente não alimentavam nada e ficou com os artefatos necessários para definir o escopo de uma substituição com honestidade, em vez de no chute.