전체 사례로 돌아가기

기술 지원제조 / 자동차

조용한 Kafka 파티션 하나가 작업의 모든 이벤트 시간 윈도를 멈춰 세울 수 있습니다

커넥티드 차량 텔레매틱스 기업

유휴 상태인 소스 파티션 하나가 작업 전체의 워터마크를 붙잡아 이벤트 시간 윈도가 발화하지 않던 문제를 진단한 사례입니다.

개요

Flink의 워터마크는 모든 입력 채널 중 최솟값이므로, 레코드 생산을 멈춘 파티션 하나가 워터마크를 고정시키고 다운스트림의 모든 이벤트 시간 윈도가 발화를 멈춥니다. 예외도 백프레셔도 없고 레코드도 계속 흐르기 때문에 작업은 정상으로 보이지만, 출력은 아무 표시 없이 멈춥니다. AceMQ는 이런 유형의 문제와 관련 워터마크 장애를 진단합니다.

과제

눈에 띄는 상태 신호가 모두 정상이기 때문에 팀들은 이 문제로 몇 시간씩 허비합니다. 변형도 비슷하고 헷갈립니다. 파티션이 과도하게 많은 Kafka 토픽에서 트래픽이 적은 파티션이 밤사이 유휴 상태가 되는 경우, 순서 어긋남(out-of-orderness) 허용 범위를 너무 넉넉하게 잡아 데이터가 도착하고 한참 뒤에야 윈도가 발화하는 경우, 리밸런스 이후에 파티션별 워터마크 전략을 적용해 순서 보장이 사라지는 경우, 그리고 늦게 도착한 레코드를 사이드 출력 없이 버려 데이터 누락을 아무도 모르는 경우입니다.

환경

이벤트 시간 의미 체계, 윈도 집계, 인터벌 조인을 사용하며 Kafka 또는 Kinesis에서 데이터를 소비하는 Apache Flink 작업.

접근 방식

AceMQ 엔지니어는 서브태스크별 현재 워터마크 메트릭을 소스 파티션 활동과 비교합니다. 이렇게 하면 유휴 소스로 인한 정체가 몇 분 안에 명확히 드러납니다. 이어서 워터마크 전략을 처음부터 끝까지 검토합니다. 워터마크가 어디에서 할당되는지, 유휴 처리(idleness)가 구성되어 있는지, 순서 어긋남 허용 범위가 추측이 아니라 측정된 이벤트 지연에 맞춰져 있는지를 확인합니다.

해결책

  1. 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 단계 없이 전담 시니어 엔지니어가 24/7 대응
  2. 서브태스크별 워터마크 메트릭을 소스 파티션 활동과 비교해 정체를 일으키는 입력 격리
  3. 트래픽이 적은 파티션의 실제 휴지 기간에 맞춰 워터마크 전략에 withIdleness 구성
  4. 기본값이 아니라 측정된 이벤트 시간 지연을 기준으로 순서 어긋남 허용 범위 산정
  5. 리밸런스와 재파티셔닝 이후에도 파티션별 순서가 유지되도록 워터마크 할당을 소스 커넥터로 이동
  6. 조용한 데이터 손실이 드러나도록 지연 레코드 사이드 출력과 지연 메트릭 추가

성과

멈춰 있던 이벤트 시간 윈도가 다시 발화하고, 워터마크 전략은 더 이상 모든 파티션이 계속 바쁘게 유지되는 데 의존하지 않습니다. 지연 레코드 사이드 출력을 추가하면 대개 팀이 몰랐던 추가 데이터 손실도 드러납니다.

기술

Apache FlinkApache KafkaKubernetes

Apache Flink 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Flink 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.