개요
Flink는 이벤트 시간 의미론과 exactly-once 보장이 필요한 상태 기반 스트림 처리에는 올바른 답이지만, 더 단순한 컨슈머로 충분한 상태 없는 변환에는 값비싼 답입니다. AceMQ는 Flink가 운영 측면에서 실제로 요구하는 것과 워크로드를 대조해 평가하고, 규모 산정과 함께 권고안을 보고합니다.
과제
스트리밍 프로젝트는 처리량 수치만으로 범위가 정해지고, 정작 비용을 좌우하는 요건은 건너뛰곤 합니다. 엔드 투 엔드 exactly-once가 정말 필요한지, 그리고 싱크가 이를 지원할 수 있는지, 운영 환경의 카디널리티에서 로직이 얼마만큼의 키 기반 상태를 만들어 내는지, 업스트림 시스템이 실제로 얼마나 늦게 이벤트를 보내는지, 팀이 체크포인트, 세이브포인트, 리스케일링을 운영할 수 있는지가 그것입니다. 이러한 결정이 플랫폼을 지속 가능하게 운영할 수 있을지를 좌우합니다.
환경
Kafka 또는 Redpanda를 소스로 하고 분석용과 운영용 싱크가 섞여 있는, Kubernetes 위에 신규 구축 또는 확장 중인 스트리밍 플랫폼.
접근 방식
AceMQ는 처리량만이 아니라 의미론, 상태 카디널리티, 지연 허용 범위, 전달 보장 같은 실제 처리 요건에서 출발합니다. Flink가 맞는 경우에는 클러스터와 상태 계층의 규모를 산정하고 운영 모델을 정의합니다. 맞지 않는 경우에는 그렇다고 분명히 말하고, 대신 쓸 수 있는 더 단순한 구성 요소를 제시합니다.
해결책
- 상태 기반 이벤트 시간 처리와 Flink가 필요 없는 상태 없는 변환을 구분하는 워크로드 분류
- 운영 환경의 키 규모에서 상태 카디널리티를 모델링하고, 그에 따른 메모리 및 디스크 사용량을 산출
- 소스 재생, 싱크 멱등성, exactly-once에 필요한 트랜잭션 싱크 지원 여부를 다루는 전달 의미론 검토
- 워터마크와 윈도 파라미터를 정하기 위해 실제 업스트림 데이터로 이벤트 시간 지연을 측정
- TaskManager 수, 슬롯, 네트워크 버퍼, 체크포인트 스토리지 처리량에 걸친 클러스터 규모 산정
- 배포 모드, 세이브포인트 정책, 업그레이드 절차, 팀이 운영에 필요한 알림을 포함한 운영 모델 정의
성과
고객은 실제 상태 및 의미론 요건을 반영한 규모 산정과 함께, 워크로드별로 구축할지 피할지를 근거 있게 결정할 수 있습니다. 대개 여러 워크로드가 더 단순한 컨슈머로 옮겨지며, 그만큼 팀이 인력을 투입해야 하는 운영 범위가 줄어듭니다.