전체 사례로 돌아가기

컨설팅헬스케어 / 복리후생

모든 것을 한꺼번에 다시 작성하지 않고 Pentaho에서 벗어나기

헬스케어 보험 기관

수백 개의 트랜스포메이션을 한 번에 전환하는 빅뱅 방식 없이, Pentaho Data Integration에서 최신 ELT 스택으로 단계적으로 이전하는 작업을 계획하고 실행한 사례입니다.

개요

요즘 저희가 나누는 Pentaho 관련 논의는 대부분 탈출에 관한 것입니다. 많은 팀이 이해하는 사람이 점점 줄어드는 수백 개의 Kettle 트랜스포메이션을 떠안고 있으며, 인력을 구하기도 라이선스를 확보하기도 점점 어려워지는 런타임 위에서, 트랜스포메이션 작업 대부분을 스스로 처리할 수 있는 웨어하우스에 데이터를 공급하고 있습니다.

과제

이 조직에는 10년 넘게 쌓인 약 400개의 트랜스포메이션과 잡이 있었습니다. 비즈니스 로직은 코드가 아니라 스텝 설정 안에 들어 있었고, 스케줄링은 Kettle 잡과 외부 cron에 흩어져 있었으며, 이 환경을 가장 잘 아는 엔지니어 두 명은 은퇴를 앞두고 있었습니다. 전면 재작성은 수년이 걸릴 것으로 추산되어 계속 미뤄져 왔습니다.

환경

Carte 클러스터를 갖춘 온프레미스 Pentaho Data Integration으로, 온프레미스 웨어하우스와 점점 늘어나는 클라우드 대상에 데이터를 공급.

접근 방식

AceMQ는 트랜스포메이션 단위가 아니라 데이터 도메인 단위로 구성한 단계적 마이그레이션을 추진했습니다. 추출과 변환을 병행 실행하며 각 도메인의 출력이 행 단위로 일치할 때까지 비교했고, 일치가 확인된 도메인에 한해서만 Pentaho 경로를 폐기했습니다. 추출은 최신 수집 도구로 옮기고, 변환 로직은 본래 있어야 할 곳인 웨어하우스 네이티브 SQL 모델로 옮겼습니다.

해결책

  1. KTR 및 KJB 파일을 파싱해 의존성 그래프를 만들고 다운스트림 영향도 기준으로 트랜스포메이션 순위를 산정
  2. 파일 단위가 아니라 데이터 도메인 단위로 전체 환경을 마이그레이션 웨이브로 분류
  3. 추출을 최신 수집 계층으로 옮기고 변환 로직을 웨어하우스 SQL 모델로 재구현
  4. 웨이브별로 행 단위 및 집계 단위 자동 대사를 적용하며 기존 파이프라인과 새 파이프라인을 병행 운영
  5. 전체 보고 주기 동안 대사 결과가 깨끗하게 유지된 뒤에만 도메인별로 Pentaho 잡을 폐기
  6. 마이그레이션이 끝난 뒤가 아니라 진행 중에 내부 팀을 새 스택에 맞춰 교육

성과

첫 웨이브들은 대사 오류도 보고 공백도 없이 전환되었고, 남은 Pentaho 영역은 종료 일정이 정해진 명확한 도메인 집합으로 줄어들었습니다. 무엇보다 로직이 팀 전체가 읽을 수 있는 버전 관리된 SQL로 정리되었습니다.

기술

PentahoAirbytedbtPostgreSQLKubernetes

Pentaho 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Pentaho 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.