개요
Pulsar는 서빙과 스토리지를 분리하며, 이것이 운영 유연성의 원천이자 사이징을 복잡하게 만드는 원인입니다. 브로커 용량, bookie 용량, 메타데이터 용량은 서로 다른 입력값에 따라 확장되며, 용량이 부족한 배포 대부분은 bookie 계층을 잘못 잡은 경우입니다. AceMQ는 측정된 요구 사항을 기준으로 각 계층을 사이징합니다.
과제
메시지 처리율에만 초점을 맞춘 사이징은 실제로 제약이 되는 조건을 놓칩니다. write quorum은 원시 스토리지에 복제 계수를 곱하므로, 보존 기간이 예상보다 훨씬 빠르게 bookie 디스크를 소모합니다. 저널 디바이스에는 용량이 아니라 지연 시간이 짧은 fsync가 필요합니다. 토픽 및 파티션 수는 처리량과 무관하게 ZooKeeper 또는 etcd 부하와 브로커 메모리를 좌우합니다. 지역 간 복제는 예산에 거의 반영되지 않는 리전 간 대역폭을 추가로 요구합니다.
환경
Kubernetes, 베어메탈 또는 하이브리드 인프라 위에 신규 구축하거나 확장 중인 Apache Pulsar 배포. 오브젝트 스토리지로의 계층형 오프로드 사용.
접근 방식
AceMQ는 측정되었거나 예상되는 처리량, 보존 기간, 내구성, 토픽 카디널리티에서 요구 사항을 도출한 뒤, 각 계층을 그 계층을 제약하는 입력값에 맞춰 사이징합니다. 이미 운영 중인 배포라면 현재 사용률을 프로파일링해, 실제 용량 한계와 하드웨어를 늘려도 해결되지 않는 설정 문제를 구분합니다.
해결책
- 커넥션 수, 토픽 카디널리티, 디스패치 처리량, 캐시 작업 세트를 기준으로 한 브로커 계층 사이징
- 보존 기간에 write quorum과 ack quorum을 적용하고 저널 디바이스와 레저 디바이스 요구 사항을 구분한 bookie 계층 사이징
- 토픽, 파티션, 레저 수를 기준으로 한 ZooKeeper 또는 etcd 메타데이터 스토어 사이징 및 구성
- 장기 보존 토픽을 위한 계층형 오프로드 임계값 및 오브젝트 스토리지 사이징
- 멀티 리전 전달이 필요한 경우 지역 간 복제 토폴로지 및 리전 간 대역폭 모델링
- 존이나 랙 하나를 잃어도 ensemble 선택이 유지되도록 장애 도메인 및 랙 인식 배치
성과
고객은 메시지 처리율에서 단순히 환산한 노드 수가 아니라, 각 계층을 실제로 제약하는 요구 사항에서 도출한 계층별 사이징을 얻습니다. 이미 운영 중인 배포에서는 보고된 용량 문제 중 적어도 하나가 하드웨어를 추가해도 해결되지 않았을 설정 문제로 밝혀지는 경우가 많습니다.