이 페이지의 내용
한 단락으로 보는 Kafka 모니터링
한 단락으로 보는 Kafka 모니터링
Kafka는 지표를 JMX로 제공하므로, 수집과 관련해 정할 것은 어떤 익스포터를 붙이느냐뿐입니다. 브로커 쪽에서는 네 가지 숫자가 신호의 대부분을 담고 있습니다. UnderReplicatedPartitions와 UnderMinIsrPartitionCount는 복제가 저하되었음을 알려 주며, 특히 후자는 acks=all 쓰기가 이미 실패하고 있다는 뜻입니다. OfflinePartitionsCount가 0보다 크면 지금 이 순간 데이터를 사용할 수 없다는 뜻입니다. 그리고 클러스터 전체의 ActiveControllerCount 합계는 정확히 1이어야 합니다. 그다음으로, 요청 핸들러와 네트워크 프로세서의 유휴율은 브로커에 여유가 있는지를 알려 줍니다. 클라이언트 쪽에서 컨슈머 랙은 단순한 오프셋 차이가 아니라 증가율과 따라잡는 데 걸리는 시간으로 봐야 하며, 프로듀서 오류율과 요청 지연 시간은 확인 응답 경로가 실패하기 전에 저하되는 것을 보여 줍니다. 네 가지 브로커 조건, 배포 시간보다 오래 증가하는 랙, 프로듀서 오류에는 알림을 걸고, 나머지는 그래프로 보십시오.
수집: JMX와 그 활용법
Kafka가 유지하는 브로커, 프로듀서, 컨슈머 지표는 모두 JMX로 노출됩니다. 실무에서는 각 브로커에 Prometheus JMX 익스포터를 Java 에이전트로 실행하고, 클라이언트 지표는 브로커에서 추정하지 말고 애플리케이션에서 직접 수집합니다. 컨슈머 랙은 전용 익스포터를 둘 가치가 있는 예외입니다. 바로 문제가 되는 상황에서 브로커 측 관점과 컨슈머 자신의 관점이 어긋나기 때문입니다. 폴링을 멈춘 컨슈머도 커밋된 오프셋이 __consumer_offsets에 남아 있으므로 외부에서 보면 그룹이 살아 있는 것처럼 보입니다.
복제 상태: 브로커의 네 가지 숫자
UnderReplicatedPartitions가 0보다 크면 적어도 하나의 팔로워가 ISR(in-sync replica) 집합에서 빠졌다는 뜻입니다. 클러스터는 계속 서비스하지만 중복성을 잃은 상태입니다. UnderMinIsrPartitionCount는 더 심각합니다. min.insync.replicas 아래로 떨어진 파티션은 모든 acks=all 프로듀스 요청을 거부하므로, 브로커는 정상으로 보이는데 프로듀서는 실패하고 있게 됩니다. OfflinePartitionsCount가 0보다 크면 리더가 없는 파티션이 있어 읽기와 쓰기 모두 불가능하다는 뜻입니다. 그리고 클러스터 전체의 ActiveControllerCount 합계는 1이어야 합니다. 0이면 컨트롤러가 없는 것이고, 2면 스플릿 브레인입니다. 이 네 가지가 담당자를 호출해야 할 목록입니다.
포화도: 요청 핸들러, 네트워크 스레드, 디스크
RequestHandlerAvgIdlePercent와 NetworkProcessorAvgIdlePercent는 브로커의 여유 용량을 나타냅니다. 이 값이 약 30% 미만으로 지속되면 스레드 풀이 병목이 되어 그 뒤에 있는 모든 것이 느려지며, 복제도 예외가 아닙니다. 포화 문제가 복제 부족 파티션 문제로 번지는 경로가 바로 이것입니다. ISR 축소 및 확장 빈도도 함께 지켜보십시오. ISR이 반복적으로 줄었다 늘었다 하는 클러스터는 대개 브로커 수가 아니라 IO나 네트워크가 부족한 것입니다. 디스크가 가득 차는 것도 고전적인 문제이며, 이를 좌우하는 것은 보존 정책입니다.
컨슈머 랙: 숫자가 아니라 증가율
랙은 파티션의 log end offset과 컨슈머 그룹의 커밋된 오프셋 사이의 차이입니다. 절대값만으로는 거의 의미가 없습니다. 처리량이 높은 정상 컨슈머는 메시지 수천 건 뒤처져 있다가도 몇 초 만에 따라잡을 수 있기 때문입니다. 중요한 것은 랙이 늘고 있는지, 그리고 현재 소비 속도로 0까지 돌아가는 데 얼마나 걸리는지입니다. 일반적인 배포보다 긴 시간 동안 지속적으로 증가할 때, 그리고 따라잡는 데 걸리는 시간이 다운스트림 시스템이 허용할 수 있는 수준을 넘어설 때 알림을 거십시오. 고정 임계값은 롤링 재시작 때마다 담당자를 호출하고, 결국 모두가 알림을 무시하게 만듭니다.
리밸런스: 횟수를 세고 원인을 찾기
리밸런스가 일어나면 파티션이 재할당되는 동안 그룹 전체의 소비가 멈추므로, 리밸런스 빈도는 소비 가용성 지표입니다. 그룹별로 추적하십시오. 주기적으로 리밸런스하는 그룹은 거의 언제나 배치 하나를 처리하는 데 설정된 간격보다 오래 걸려 max.poll.interval.ms에 걸리고 있거나, 세션 타임아웃으로 멤버를 잃고 있습니다. 해결책은 타임아웃이 아니라 원인을 고치는 것입니다. 다만 원인을 찾는 동안에는 cooperative sticky 할당과 정적 그룹 멤버십으로 리밸런스 한 번의 비용을 줄일 수 있습니다.
프로듀서 측: 오류율과 지연 시간 경로
프로듀서 레코드 오류율이 0보다 크면 언제나 알림을 걸 가치가 있습니다. 쓰기에 실패하는 프로듀서는 애플리케이션이 실패를 잘 처리하지 않는 한 데이터를 잃고 있으며, 대부분의 애플리케이션은 그렇게 하지 않습니다. 요청 지연 시간은 선행 지표입니다. 타임아웃이 시작되기 훨씬 전, 확인 응답 경로가 저하되면서 상승합니다. buffer-available-bytes가 0에 가까워지면 클라이언트가 보낼 수 있는 속도보다 빠르게 생산하고 있다는 뜻이며, 설정에 따라 블로킹되거나 메시지를 버리기 시작합니다. 세 가지 모두 클라이언트 측 지표이므로, 브로커만 수집하면 사용자가 가장 먼저 알아채는 장애 유형을 전혀 볼 수 없습니다.
갖춰 둘 만한 알림 목록
호출 알림 대상: 0보다 큰 오프라인 파티션, 0보다 큰 min-ISR 미달 파티션, 1이 아닌 활성 컨트롤러 수, 0보다 큰 프로듀서 오류율, 배포 시간보다 오래 증가하는 컨슈머 랙. 호출하지 말고 티켓으로 처리할 대상: 몇 분 안에 회복되는 복제 부족 파티션, 30% 미만의 요청 핸들러 유휴율, 평소보다 높은 리밸런스 빈도, 70%를 넘는 디스크 사용률. 그 밖의 모든 것은 호출 당번 체계가 아니라 장애 대응 중에 들여다보는 대시보드에 두어야 합니다. 좋은 알림인지 판단하는 기준은 새벽 3시에 깨어난 사람이 그 알림을 받고 무언가 조치할 수 있느냐입니다.
자주 묻는 질문
어떤 Kafka 지표에 실제로 호출 알림을 걸어야 하나요?
0보다 큰 오프라인 파티션, 0보다 큰 min-ISR 미달 파티션, 1이 아닌 활성 컨트롤러 수, 0보다 큰 프로듀서 레코드 오류율, 그리고 배포 시간보다 긴 기간 동안 증가하는 컨슈머 랙입니다. 복제 부족 파티션과 스레드 풀 포화는 지속되지 않는 한 호출이 아니라 티켓으로 처리하는 것이 적절합니다.
복제 부족(under-replicated) 파티션과 min-ISR 미달(under-min-ISR) 파티션은 어떻게 다른가요?
복제 부족은 팔로워가 ISR 집합에서 빠져 중복성이 줄었지만 파티션은 여전히 서비스 중인 상태를 뜻합니다. min-ISR 미달은 ISR 집합이 min.insync.replicas 아래로 떨어진 상태로, 브로커 자체는 정상으로 보이는데 acks=all 프로듀스 요청은 이미 거부되고 있습니다.
컨슈머 랙 알림은 어떻게 설정해야 하나요?
절대적인 오프셋 차이가 아니라 증가율과 따라잡는 데 걸리는 시간으로 설정해야 합니다. 처리량이 높은 정상 컨슈머는 한참 뒤처져 있다가도 몇 초 만에 회복할 수 있으므로, 고정 임계값은 롤링 재시작 때마다 담당자를 호출합니다. 일반적인 배포 시간을 넘어서까지 계속 증가하는 랙에 알림을 거십시오.
브로커 모니터링만으로 충분한가요, 아니면 클라이언트 지표도 봐야 하나요?
클라이언트 지표도 중요하며, 브로커만 모니터링하면 사용자가 가장 먼저 알아채는 장애를 놓칩니다. 프로듀서 오류율, 요청 지연 시간, 컨슈머 랙은 클라이언트 측에 있습니다. 폴링을 멈춘 컨슈머도 브로커가 보는 커밋된 오프셋 기준으로는 살아 있는 것처럼 보일 수 있습니다.