개요
한 결제 처리 기업은 모든 키스페이스에 대해 전체 리페어를 호출하는 cron 작업으로 리페어를 실행하고 있었습니다. 실행 시간이 gc_grace_seconds 기간을 넘기는 일이 잦았고, 실행이 서로 겹쳤으며, 클러스터 I/O를 포화시켜 강제 종료되기도 했습니다. 링 전체가 마지막으로 완전히 리페어된 시점을 누구도 말할 수 없었습니다. AceMQ가 전담 시니어 엔지니어와 함께 기술 지원을 맡게 되었습니다.
과제
gc_grace_seconds 안에 끝나지 않는 리페어는 단순한 관리 문제가 아닙니다. 컴팩션이 일부 레플리카에서만 툼스톤을 제거하면 삭제된 데이터가 다시 살아날 수 있다는 뜻입니다. 대규모 멀티 데이터센터 링 전체에 대한 리페어는 비용이 너무 커서 끝까지 완료할 수 없었고, 리페어가 일으키는 스트리밍은 운영 트래픽과 직접 경쟁했습니다.
환경
온프레미스와 클라우드에 걸쳐 거래 원장 및 정산 데이터를 저장하는 멀티 데이터센터 Apache Cassandra.
접근 방식
AceMQ는 링 전체 리페어를, 클러스터의 가용 여유에 맞춰 속도를 조절하고 중단 후에도 이어서 재개할 수 있는 예약형·세그먼트 단위 증분 리페어로 대체했습니다. 리페어와 컴팩션이 같은 I/O를 두고 경쟁하지 않도록 테이블별로 컴팩션 전략과 처리량 설정을 재조정했습니다.
해결책
- cron 기반 전체 리페어를, 처음부터 다시 시작하지 않고 이어서 재개하는 예약형 세그먼트 리페어 오케스트레이터로 대체
- 업무 시간 중 I/O를 포화시키지 않도록 클러스터의 가용 여유에 맞춰 리페어 속도 조절
- 기본값이 아닌 실제 읽기, 쓰기, 삭제 패턴에 맞춰 테이블별 컴팩션 전략 재조정
- 하부 스토리지에 맞춰 컴팩션 처리량과 동시 컴팩터 설정 조정
- 키스페이스별 리페어 완료 시간을 gc_grace_seconds와 대비해 추적하고 알림을 설정할 수 있는 지표로 계측
- 1차 분류 단계 없이 시니어 Cassandra 엔지니어에게 바로 연결되는 24/7 에스컬레이션 제공
성과
이제 모든 키스페이스에서 리페어가 gc_grace_seconds보다 훨씬 앞서 완료되며, 완료 여부는 추정이 아니라 지표로 추적됩니다. 클러스터가 안고 있던 데이터 부활 위험이 해소되었고, 리페어가 실행되는 동안에도 운영 환경의 지연 시간이 더 이상 악화되지 않습니다.