전체 사례로 돌아가기

진단에너지 / 유틸리티

10년간 문서 없이 쌓인 Kettle 변환 작업이 실제로 무엇을 하는지 복원

유틸리티 지주회사

문서화되지 않은 레거시 Kettle 변환 작업을 누군가 수정하거나 교체하기 전에, 데이터 계보와 문서를 재구성했습니다.

개요

읽을 수 없는 것은 안전하게 마이그레이션하거나 수정할 수 없습니다. 오래 운영된 Pentaho 환경에는 대개 데이터 계보 문서가 없으며, 변환 XML만이 비즈니스 규칙을 담은 유일한 명세로 남아 있습니다.

과제

이 회사는 두 차례의 인수를 거치며 Pentaho 환경을 물려받았습니다. 무엇이 무엇에 데이터를 공급하는지 보여 주는 도식이 없었고, 여러 변환 작업이 아무도 용도를 설명할 수 없는 테이블에 데이터를 쓰고 있었으며, 적어도 하나의 야간 작업이 몇 달째 부분적으로 실패하고 있었지만 그 결과물이 여전히 필요한지조차 아무도 판단할 수 없었습니다.

환경

SQL Server와 플랫 파일 드롭에서 데이터를 읽어 온프레미스 리포팅 웨어하우스와 여러 다운스트림 추출물에 기록하는 온프레미스 Pentaho Data Integration.

접근 방식

AceMQ는 변환 및 잡 XML을 직접 파싱해 소스 테이블, 대상 테이블, 스텝 단위 로직, 잡 오케스트레이션을 추출한 뒤, 이 정적인 그림을 런타임 로그와 실제 데이터베이스 쓰기 활동과 대조해 실제로 실행되는 것과 존재하기만 하는 것을 구분했습니다.

해결책

  1. 설계 도구 없이 KTR 및 KJB 파일을 파싱해 테이블 단위와 컬럼 단위의 데이터 계보 추출
  2. 정적 데이터 계보를 런타임 로그와 대조해 실제 운영 중인 잡과 휴면 상태의 잡을 구분
  3. JavaScript 스텝, 계산기 스텝, 수작업 SQL에 내장된 비즈니스 규칙 문서화
  4. 다운스트림 소비처가 없는 고아 대상 테이블과 변환 작업 식별
  5. 팀이 직접 유지 관리할 수 있는 형식으로 데이터 계보 다이어그램과 변환별 규칙 카탈로그 작성

성과

팀은 사실상 들여다볼 수 없던 환경을 읽을 수 있는 지도로 확보했고, 아무것에도 데이터를 공급하지 않는 것으로 확인된 잡들을 폐기했으며, 추측이 아닌 근거를 바탕으로 교체 범위를 산정하는 데 필요한 산출물을 갖추게 되었습니다.

기술

PentahoPostgreSQLSQL Serverdbt

Pentaho 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Pentaho 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.