개요
읽을 수 없는 것은 안전하게 마이그레이션하거나 수정할 수 없습니다. 오래 운영된 Pentaho 환경에는 대개 데이터 계보 문서가 없으며, 변환 XML만이 비즈니스 규칙을 담은 유일한 명세로 남아 있습니다.
과제
이 회사는 두 차례의 인수를 거치며 Pentaho 환경을 물려받았습니다. 무엇이 무엇에 데이터를 공급하는지 보여 주는 도식이 없었고, 여러 변환 작업이 아무도 용도를 설명할 수 없는 테이블에 데이터를 쓰고 있었으며, 적어도 하나의 야간 작업이 몇 달째 부분적으로 실패하고 있었지만 그 결과물이 여전히 필요한지조차 아무도 판단할 수 없었습니다.
환경
SQL Server와 플랫 파일 드롭에서 데이터를 읽어 온프레미스 리포팅 웨어하우스와 여러 다운스트림 추출물에 기록하는 온프레미스 Pentaho Data Integration.
접근 방식
AceMQ는 변환 및 잡 XML을 직접 파싱해 소스 테이블, 대상 테이블, 스텝 단위 로직, 잡 오케스트레이션을 추출한 뒤, 이 정적인 그림을 런타임 로그와 실제 데이터베이스 쓰기 활동과 대조해 실제로 실행되는 것과 존재하기만 하는 것을 구분했습니다.
해결책
- 설계 도구 없이 KTR 및 KJB 파일을 파싱해 테이블 단위와 컬럼 단위의 데이터 계보 추출
- 정적 데이터 계보를 런타임 로그와 대조해 실제 운영 중인 잡과 휴면 상태의 잡을 구분
- JavaScript 스텝, 계산기 스텝, 수작업 SQL에 내장된 비즈니스 규칙 문서화
- 다운스트림 소비처가 없는 고아 대상 테이블과 변환 작업 식별
- 팀이 직접 유지 관리할 수 있는 형식으로 데이터 계보 다이어그램과 변환별 규칙 카탈로그 작성
성과
팀은 사실상 들여다볼 수 없던 환경을 읽을 수 있는 지도로 확보했고, 아무것에도 데이터를 공급하지 않는 것으로 확인된 잡들을 폐기했으며, 추측이 아닌 근거를 바탕으로 교체 범위를 산정하는 데 필요한 산출물을 갖추게 되었습니다.