개요
증분 동기화는 안정적인 커서와 보존된 커넥션 상태(state)에 의존합니다. 설정 변경, 커넥터 버전 업그레이드, 단조 증가하지 않는 커서 컬럼 등으로 둘 중 하나라도 무효화되면 Airbyte는 모든 데이터를 다시 읽는 방식으로 되돌아가고, 그 비용은 Airbyte가 아니라 웨어하우스에 청구됩니다.
과제
수억 행 규모의 테이블을 대상으로 하는 야간 커넥션이 몇 분이 아니라 몇 시간씩 돌기 시작했습니다. 커서 컬럼은 updated-at 타임스탬프였는데, 애플리케이션이 이따금 이 값을 과거 시점으로 기록하는 바람에 일부 실행에서 레코드가 누락되었습니다. 팀은 커넥션을 리셋하는 방식으로 대응했고, 그때마다 전체 재읽기가 발생했습니다. 그 결과 수집 시간대의 웨어하우스 컴퓨팅 비용이 몇 배로 불어났습니다.
환경
AWS 위의 Airbyte Cloud 및 자체 관리형 워커, PostgreSQL 소스, 사용량 기반 컴퓨팅 요금제를 적용하는 클라우드 데이터 웨어하우스 대상.
접근 방식
AceMQ는 최근 실행들의 커넥션 상태 페이로드를 검토해 상태가 어디서 폐기되고 있는지 확인한 뒤, 해당 테이블에 커서 기반 증분 동기화와 로그 기반 CDC 중 무엇이 더 적합한지 평가했습니다. 데이터량이 가장 많은 스트림은 CDC로 전환하고, 변경이 적은 참조 테이블은 실제로 그쪽이 더 저렴한 경우에 한해 예약된 전체 새로 고침으로 남겨 두었습니다.
해결책
- 실행별로 스트림 단위 상태 페이로드를 추적해 증분 상태가 무효화되는 지점을 파악
- 데이터량이 가장 많은 테이블은 신뢰할 수 없는 타임스탬프 커서를 로그 기반 CDC로 대체
- 변경이 잦은 스트림과 적은 스트림을 서로 다른 일정의 별도 커넥션으로 분리
- 웨어하우스 클러스터 부하를 평탄화하도록 동기화 동시성과 대상 배치 크기를 튜닝
- 일상적인 설정 수정이 더 이상 전체 새로 고침을 일으키지 않도록, 상태 리셋을 유발하는 설정 변경을 문서화
성과
야간 수집 시간대가 원래 수준으로 돌아왔고, 반복되던 전체 새로 고침이 멈췄습니다. 수집 워크로드의 웨어하우스 지출도 장애 이전과 거의 같은 수준으로 떨어졌습니다.