개요
수백 기가바이트의 키 상태를 보유한 Flink 잡에는 작은 잡에는 없는 운영상의 제약이 있습니다. 재시작에 실제로 시간이 걸리고, 병렬도를 바꾸려면 세이브포인트를 재분배해야 하며, 키를 잘못 고르면 상태가 소수의 태스크 매니저에 몰립니다. AceMQ는 잡이 커져도 이런 제약을 관리할 수 있도록 상태 계층을 설계합니다.
과제
대용량 상태 잡은 어느새 배포할 수 없는 상태가 됩니다. 세이브포인트가 오래 걸려 일상적인 배포에도 유지보수 시간이 필요해지고, 그래서 배포를 몰아서 하게 되며, 배포 한 번에 따르는 위험도 커집니다. 최대 병렬도가 기본값으로 남아 있어 상태를 완전히 재구축하지 않고는 정해진 한계 이상으로 재확장할 수 없었습니다. 키에 쏠림이 있어 키 그룹 분포가 고르지 않았고, 두 대의 태스크 매니저가 대부분의 작업을 처리했습니다. 로컬 디스크는 현재 상태가 아니라 초기 상태 크기에 맞춰져 있었습니다.
환경
RocksDB 상태 백엔드, 대용량 키 상태, 오브젝트 스토리지에 저장되는 체크포인트 또는 세이브포인트를 갖춘 Kubernetes 상의 Apache Flink.
접근 방식
AceMQ는 키 그룹과 태스크 매니저별 상태 크기와 분포를 프로파일링한 뒤, 재시작 시간 예산, 예상 병렬도 범위, 업그레이드 주기 같은 운영 요건을 중심으로 설계합니다. 최대 병렬도와 키 그룹 수는 현재 규모가 아니라 잡의 예상 수명에 맞춰 설정하며, 복구 경로는 가정하지 않고 실제로 테스트합니다.
해결책
- 파티션 쏠림을 드러내기 위해 오퍼레이터와 태스크 매니저별 상태 크기 및 키 그룹 분포 프로파일링
- 출시 시점 규모가 아니라 잡의 예상 확장 범위에 맞춘 최대 병렬도 및 키 그룹 크기 설정
- 관리 메모리, 블록 캐시, 쓰기 버퍼, 컴팩션 방식, 컬럼 패밀리 구성을 포괄하는 RocksDB 설정
- RocksDB 워킹 세트와 체크포인트 스테이징을 위한 로컬 스토리지 용량 산정 및 디스크 클래스 선택
- 측정된 재시작 시간 예산에 기반한 세이브포인트, 보존 체크포인트, 로컬 복구 전략
- 상태 스키마 진화 경로를 포함해, 사전 리허설로 검증한 재확장 및 업그레이드 런북
성과
재시작과 재확장 시간이 예측 가능하고 일정 범위 안으로 들어와, 더 이상 배포에 유지보수 시간이 필요하지 않습니다. 상태가 태스크 매니저 전체에 고르게 분산되면서 처리량을 제한하던 핫 노드 현상도 사라졌습니다.