개요
Pulsar 브로커는 bookie의 ack 쿼럼이 쓰기를 확인해야 응답을 보내므로, 각 앙상블에서 가장 느린 bookie가 지연 시간의 하한을 결정합니다. 저널 장치가 포화된 노드 하나가 그 노드에 레저가 걸쳐 있는 모든 토픽의 쓰기 지연을 악화시킵니다. AceMQ는 해당 bookie를 격리하고 그 아래의 스토리지 구성을 바로잡습니다.
과제
일반적인 근본 원인은 저널과 레저 데이터가 같은 장치를 공유하는 것입니다. 저널에는 저지연 순차 fsync가 필요하고, 레저 장치는 대용량 순차 쓰기와 주기적인 컴팩션을 수행합니다. 둘이 한 디스크에 있으면 경합이 생기고, 저널 fsync 지연이 올라가며, add-entry 지연이 클러스터 전체에서 증가합니다. 느린 노드를 감당할 여유가 없는 앙상블 및 쿼럼 구성, 너무 작은 쓰기 캐시, 실시간 트래픽과 경쟁하는 엔트리 로그 가비지 컬렉션도 원인으로 작용합니다.
환경
Kubernetes 또는 베어메탈 기반의 BookKeeper를 사용하는 Apache Pulsar로, ZooKeeper 또는 etcd 메타데이터와 오브젝트 스토리지로의 계층형 오프로드를 갖춘 환경.
접근 방식
AceMQ는 bookie별 저널 fsync 및 add-entry 지연을 브로커 측 퍼블리시 지연과 대조해 어느 노드가 하한을 결정하는지 찾아낸 뒤, 원인이 장치 경합인지, 캐시 크기인지, 컴팩션인지 확인합니다. 즉각적인 조치로 해당 bookie를 새 앙상블에서 격리하고, 근본적인 해결책으로 저널과 레저 장치를 분리하며 캐시와 컴팩션을 재조정합니다.
해결책
- bookie별 저널 fsync 및 add-entry 지연을 브로커 퍼블리시 지연과 대조해 병목 노드를 특정
- 적절한 스토리지 클래스와 독립된 IOPS 예산을 갖춘 저널 및 레저 장치 분리
- 실제 워킹 세트와 JVM 힙에 맞춰 쓰기 캐시, 미리 읽기 캐시, 다이렉트 메모리 크기 조정
- 공간 회수 작업이 실시간 쓰기와 경쟁하지 않도록 엔트리 로그 가비지 컬렉션과 컴팩션 임곗값 조정
- 느린 노드가 있어도 쓰기가 멈추지 않도록 앙상블, 쓰기 쿼럼, ack 쿼럼 구성 설정
- 복제가 부족한 레저 복구를 포함해 자동 복구 및 bookie 교체 절차 검증
성과
병목 bookie를 격리하고 스토리지 구성을 바로잡으면 클러스터 전체의 퍼블리시 지연이 기준치로 돌아오며, 수정된 쿼럼 구성 덕분에 다음에 느린 노드가 생기더라도 클러스터가 멈추지 않고 점진적으로만 성능이 저하됩니다.