개요
Pentaho를 떠나기로 결정했다고 해서 야간 적재를 건너뛸 수 있는 것은 아닙니다. 대부분의 조직에는 마이그레이션에 현실적으로 걸리는 18~36개월 동안 새벽 3시에도 Kettle 문제를 고칠 수 있는 사람이 필요합니다.
과제
야간 적재는 불안정해져 있었습니다. 입력 데이터가 늘어나자 메모리 압박으로 변환이 실패했고, 일부 단계가 실패해 대상 테이블이 반쯤만 적재되었는데도 작업은 성공으로 보고되었으며, 데이터베이스 업그레이드 이후 JDBC 드라이버 동작이 바뀌어 있었습니다. 장애는 밤사이 알림이 아니라 다음 날 아침 현업의 불만으로 드러났습니다.
환경
온프레미스 Linux 서버의 Pentaho Data Integration, SQL Server 및 PostgreSQL 소스와 타깃, 운영 보고서에 데이터를 공급하는 야간 배치 시간대.
접근 방식
AceMQ는 플랜에 따라 15분부터 시작하는 대응 목표와 24/7 커버리지를 갖춘 전담 시니어 엔지니어를 제공합니다. 고객과 실제로 변환 로직을 읽을 수 있는 엔지니어 사이에 1차 분류 대기열이 없습니다. AceMQ는 작업을 재시작하는 대신 반복되는 실패를 근본 원인에서 해결했고, 부분 적재가 깔끔하게 실패하도록 오류 처리를 재구성했습니다.
해결책
- 늘어난 입력 데이터에서 실패하던 변환의 JVM 힙과 단계별 row-set 크기 수정
- 조용히 부분 적재되던 동작을 명시적 오류 처리와 트랜잭션 경계로 대체
- 데이터베이스 플랫폼 업그레이드로 불안정해진 커넥션 풀 및 JDBC 드라이버 설정 수정
- 밤사이 장애가 아침까지 기다리지 않고 즉시 호출되도록 작업 및 단계 수준 알림 추가
- 마이그레이션 완료 전까지 재발 가능성이 가장 높은 장애 패턴에 대한 런북 작성
성과
반복되던 야간 장애가 멈췄고, 부분 실패 시 적재 자체를 중단하도록 해 반쯤 적재된 대상 테이블이 사라졌습니다. 환경이 충분히 안정되어 마이그레이션도 긴급 상황에 쫓기지 않고 계획대로 진행할 수 있게 되었습니다.