Visão geral
Hoje, a maioria das conversas que temos sobre Pentaho é sobre como sair dele. As equipes carregam centenas de transformações do Kettle que só um grupo cada vez menor de pessoas entende, em um runtime cada vez mais difícil de licenciar e de encontrar gente para operar, alimentando um data warehouse que poderia fazer sozinho a maior parte do trabalho de transformação.
Desafio
A organização tinha cerca de quatrocentas transformações e jobs acumulados ao longo de mais de uma década. A lógica de negócio ficava nas configurações dos steps, e não em código; o agendamento estava espalhado entre jobs do Kettle e um cron externo; e os dois engenheiros que melhor conheciam o ambiente estavam perto de se aposentar. Uma reescrita completa tinha sido estimada em anos e adiada repetidas vezes.
Ambiente
Pentaho Data Integration on-premises com um cluster Carte, alimentando um data warehouse on-premises e um conjunto crescente de destinos em nuvem.
Abordagem
A AceMQ defendeu uma migração em etapas organizada por domínio de dados, e não por transformação. Rodamos a extração e a transformação em paralelo, comparando os resultados linha a linha até que cada domínio batesse, e só então desativamos o caminho do Pentaho para aquele domínio. A extração passou para uma ferramenta de ingestão moderna; a lógica de transformação foi para modelos SQL nativos do data warehouse, que é o lugar dela.
Solução
- Parsing dos arquivos KTR e KJB para montar um grafo de dependências e classificar as transformações pelo impacto downstream
- Agrupamento do ambiente em ondas de migração por domínio de dados, e não por arquivo
- Extração movida para uma camada de ingestão moderna e lógica de transformação reimplementada como modelos SQL no data warehouse
- Pipelines antigos e novos rodando em paralelo, com reconciliação automatizada por linha e por agregado em cada onda
- Jobs do Pentaho desativados por domínio somente depois que a reconciliação se manteve limpa durante um ciclo completo de relatórios
- Capacitação da equipe interna na nova stack durante a migração, e não depois dela
Resultado obtido
As primeiras ondas passaram pelo cutover com a reconciliação limpa e sem lacunas nos relatórios, e o que restava do Pentaho encolheu para um conjunto bem definido de domínios com data marcada para terminar. O mais importante: a lógica foi parar em SQL versionado que toda a equipe consegue ler.