전체 사례로 돌아가기

문제 해결금융 서비스 / 결제

백프레셔가 체크포인트를 실패시키고, 실패한 체크포인트가 백프레셔를 악화시키는 악순환을 끊습니다

글로벌 결제 처리 기업

RocksDB 상태가 설정된 체크포인트 주기로 감당할 수 있는 수준을 넘어 커져, 백프레셔 상황에서 체크포인트가 타임아웃되던 문제를 해결했습니다.

개요

지속적인 백프레셔 상태의 Flink 작업은 배리어를 제때 파이프라인 끝까지 통과시키지 못하므로 체크포인트가 만료됩니다. 만료될 때마다 다음 시도에서 써야 할 상태가 늘어나고, 결국 작업은 오래된 체크포인트에서 재시작해 다음 실패가 확실해질 만큼의 데이터를 재처리하게 됩니다. AceMQ는 이 악순환을 끊고 그 밑에 있는 상태 증가 문제를 해결합니다.

과제

눈에 보이는 증상은 매주 또는 매일 밤 발생하는 체크포인트 실패가 재시작 루프로 번지는 것입니다. 그 이면에서는 여러 요인이 겹칩니다. 키 상태가 계속 늘어나 RocksDB 작업 세트가 더 이상 관리형 메모리 예산 안에 들어가지 않는 오퍼레이터, 느린 싱크 뒤에서 멈춘 정렬(aligned) 배리어, 그리고 상태 크기가 지금의 극히 일부였을 때 정한 체크포인트 주기와 타임아웃입니다. 타임아웃만 늘리면 실패를 없애는 것이 아니라 옮길 뿐입니다.

환경

Kafka에서 데이터를 소비하고 S3 또는 HDFS에 체크포인트를 저장하며, RocksDB 상태 백엔드를 사용하는 Kubernetes 또는 YARN 기반 Apache Flink.

접근 방식

AceMQ는 Flink UI와 지표에서 체크포인트 소요 시간을 동기, 비동기, 정렬 단계로 분해해, 비용이 상태 크기 때문인지, 배리어 정렬 때문인지, 원격 파일 시스템 때문인지 파악합니다. 백프레셔는 원인이 되는 특정 오퍼레이터나 싱크까지 추적합니다. 이후 해당 단계에 맞춰 조치합니다. 정렬 비용에는 비정렬 체크포인트와 증분 체크포인트를, 상태 비용에는 RocksDB 메모리 및 컴팩션 튜닝을, 애초에 그렇게 커져서는 안 되었던 상태에는 상태 TTL을 적용합니다.

해결책

  1. 체크포인트 소요 시간을 동기, 비동기, 정렬 단계로 분해해 실제 제약 요인 파악
  2. 배리어 전파를 지연시키는 특정 오퍼레이터나 싱크까지 백프레셔 추적
  3. 느린 오퍼레이터 뒤의 정렬 대기가 지배적인 경우 비정렬 체크포인트와 버퍼 디블로팅 활성화
  4. 현재 상태 크기에 맞춰 RocksDB 관리형 메모리, 블록 캐시, 쓰기 버퍼 크기를 바로잡은 증분 체크포인트 적용
  5. 제한 없이 쌓이는 키 상태에 상태 TTL 및 정리 정책 적용
  6. 실측 소요 시간을 기준으로 체크포인트 주기, 타임아웃, 최소 일시 정지 간격을 재튜닝하고, 재처리 루프가 멈추도록 재시작 전략 조정

성과

반복되던 체크포인트 실패가 사라지고, 체크포인트 소요 시간은 주기 대비 여유를 둔 안정적인 범위로 돌아옵니다. 느린 체크포인트 하나가 더 이상 다음 체크포인트의 실패로 이어지지 않으므로 작업이 재시작 루프에 빠지지 않습니다.

기술

Apache FlinkApache KafkaRocksDBKubernetes

Apache Flink 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Apache Flink 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.