개요
지속적인 백프레셔 상태의 Flink 작업은 배리어를 제때 파이프라인 끝까지 통과시키지 못하므로 체크포인트가 만료됩니다. 만료될 때마다 다음 시도에서 써야 할 상태가 늘어나고, 결국 작업은 오래된 체크포인트에서 재시작해 다음 실패가 확실해질 만큼의 데이터를 재처리하게 됩니다. AceMQ는 이 악순환을 끊고 그 밑에 있는 상태 증가 문제를 해결합니다.
과제
눈에 보이는 증상은 매주 또는 매일 밤 발생하는 체크포인트 실패가 재시작 루프로 번지는 것입니다. 그 이면에서는 여러 요인이 겹칩니다. 키 상태가 계속 늘어나 RocksDB 작업 세트가 더 이상 관리형 메모리 예산 안에 들어가지 않는 오퍼레이터, 느린 싱크 뒤에서 멈춘 정렬(aligned) 배리어, 그리고 상태 크기가 지금의 극히 일부였을 때 정한 체크포인트 주기와 타임아웃입니다. 타임아웃만 늘리면 실패를 없애는 것이 아니라 옮길 뿐입니다.
환경
Kafka에서 데이터를 소비하고 S3 또는 HDFS에 체크포인트를 저장하며, RocksDB 상태 백엔드를 사용하는 Kubernetes 또는 YARN 기반 Apache Flink.
접근 방식
AceMQ는 Flink UI와 지표에서 체크포인트 소요 시간을 동기, 비동기, 정렬 단계로 분해해, 비용이 상태 크기 때문인지, 배리어 정렬 때문인지, 원격 파일 시스템 때문인지 파악합니다. 백프레셔는 원인이 되는 특정 오퍼레이터나 싱크까지 추적합니다. 이후 해당 단계에 맞춰 조치합니다. 정렬 비용에는 비정렬 체크포인트와 증분 체크포인트를, 상태 비용에는 RocksDB 메모리 및 컴팩션 튜닝을, 애초에 그렇게 커져서는 안 되었던 상태에는 상태 TTL을 적용합니다.
해결책
- 체크포인트 소요 시간을 동기, 비동기, 정렬 단계로 분해해 실제 제약 요인 파악
- 배리어 전파를 지연시키는 특정 오퍼레이터나 싱크까지 백프레셔 추적
- 느린 오퍼레이터 뒤의 정렬 대기가 지배적인 경우 비정렬 체크포인트와 버퍼 디블로팅 활성화
- 현재 상태 크기에 맞춰 RocksDB 관리형 메모리, 블록 캐시, 쓰기 버퍼 크기를 바로잡은 증분 체크포인트 적용
- 제한 없이 쌓이는 키 상태에 상태 TTL 및 정리 정책 적용
- 실측 소요 시간을 기준으로 체크포인트 주기, 타임아웃, 최소 일시 정지 간격을 재튜닝하고, 재처리 루프가 멈추도록 재시작 전략 조정
성과
반복되던 체크포인트 실패가 사라지고, 체크포인트 소요 시간은 주기 대비 여유를 둔 안정적인 범위로 돌아옵니다. 느린 체크포인트 하나가 더 이상 다음 체크포인트의 실패로 이어지지 않으므로 작업이 재시작 루프에 빠지지 않습니다.