Voltar para todos os casos de uso

ConsultoriaSaúde / benefícios

Sair do Pentaho sem reescrever tudo de uma vez

Operadora de planos de saúde

Planejamento e execução de uma saída gradual do Pentaho Data Integration para uma stack de ELT moderna, sem um cutover big bang de centenas de transformações.

Visão geral

Hoje, a maioria das conversas que temos sobre Pentaho é sobre como sair dele. As equipes carregam centenas de transformações do Kettle que só um grupo cada vez menor de pessoas entende, em um runtime cada vez mais difícil de licenciar e de encontrar gente para operar, alimentando um data warehouse que poderia fazer sozinho a maior parte do trabalho de transformação.

Desafio

A organização tinha cerca de quatrocentas transformações e jobs acumulados ao longo de mais de uma década. A lógica de negócio ficava nas configurações dos steps, e não em código; o agendamento estava espalhado entre jobs do Kettle e um cron externo; e os dois engenheiros que melhor conheciam o ambiente estavam perto de se aposentar. Uma reescrita completa tinha sido estimada em anos e adiada repetidas vezes.

Ambiente

Pentaho Data Integration on-premises com um cluster Carte, alimentando um data warehouse on-premises e um conjunto crescente de destinos em nuvem.

Abordagem

A AceMQ defendeu uma migração em etapas organizada por domínio de dados, e não por transformação. Rodamos a extração e a transformação em paralelo, comparando os resultados linha a linha até que cada domínio batesse, e só então desativamos o caminho do Pentaho para aquele domínio. A extração passou para uma ferramenta de ingestão moderna; a lógica de transformação foi para modelos SQL nativos do data warehouse, que é o lugar dela.

Solução

  1. Parsing dos arquivos KTR e KJB para montar um grafo de dependências e classificar as transformações pelo impacto downstream
  2. Agrupamento do ambiente em ondas de migração por domínio de dados, e não por arquivo
  3. Extração movida para uma camada de ingestão moderna e lógica de transformação reimplementada como modelos SQL no data warehouse
  4. Pipelines antigos e novos rodando em paralelo, com reconciliação automatizada por linha e por agregado em cada onda
  5. Jobs do Pentaho desativados por domínio somente depois que a reconciliação se manteve limpa durante um ciclo completo de relatórios
  6. Capacitação da equipe interna na nova stack durante a migração, e não depois dela

Resultado obtido

As primeiras ondas passaram pelo cutover com a reconciliação limpa e sem lacunas nos relatórios, e o que restava do Pentaho encolheu para um conjunto bem definido de domínios com data marcada para terminar. O mais importante: a lógica foi parar em SQL versionado que toda a equipe consegue ler.

Tecnologias

PentahoAirbytedbtPostgreSQLKubernetes

Precisa de orientação de arquitetura para Pentaho?

Os engenheiros Pentaho sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.