전체 사례로 돌아가기

문제 해결제조 / 자동차

툼스톤 임계값을 올리는 데 그치지 않고 접근 패턴 자체를 바로잡습니다

커넥티드 차량 텔레매틱스 기업

삭제 속도가 컴팩션과 gc_grace_seconds를 앞지르면서 큐처럼 쓰이던 파티션에 툼스톤이 쌓여 발생한 읽기 타임아웃을 해결했습니다.

개요

한 텔레매틱스 기업은 Cassandra 테이블을 작업 큐로 사용해, 행을 쓰고 처리가 끝나면 삭제하고 있었습니다. 코디네이터가 살아 있는 행 몇 개를 반환하려고 툼스톤 수만 개를 스캔하면서 읽기 쿼리가 타임아웃되기 시작했습니다. AceMQ는 긴급 대응 SLA에 따라 투입되었습니다.

과제

툼스톤은 gc_grace_seconds가 지나고 컴팩션이 제거할 때까지 읽기 대상으로 남는데, 이는 삭제를 놓친 노드에서 삭제된 데이터가 되살아나는 것을 막기 위한 장치입니다. 링 전체에서 리페어가 완료되지 않고 있었으므로, gc_grace_seconds를 낮추면 데이터가 되살아날 실제 위험이 있었습니다. 팀은 툼스톤 경고 및 실패 임계값을 계속 올려 왔는데, 이는 증상만 감출 뿐 그 아래의 스캔 비용은 계속 커지고 있었습니다.

환경

대량의 차량 텔레메트리를 수집하는 베어메탈 기반 멀티 데이터 센터 Apache Cassandra 클러스터.

접근 방식

AceMQ는 당장의 증상 완화 작업과 근본적인 해결책을 분리했습니다. 리페어가 안정적으로 완료되도록 하는 것이 gc_grace_seconds 변경의 전제 조건이었고, 와이드 파티션 위의 큐는 설정과 무관하게 컴팩션이 정리하는 속도보다 빠르게 툼스톤을 만들어 내므로 데이터 모델 변경이 반드시 필요했습니다.

해결책

  1. 가장 많은 툼스톤을 스캔하는 특정 파티션과 쿼리 형태 식별
  2. gc_grace_seconds를 건드리기 위한 전제 조건으로 링 전체의 리페어 완료를 안정화
  3. 큐 워크로드를 와이드 파티션 패턴에서 TTL 기반 만료를 사용하는 시간 버킷 파티션으로 이전
  4. 영향받은 테이블을 쓰기 및 삭제 패턴에 맞는 컴팩션 전략으로 전환
  5. 올려 두었던 툼스톤 임계값을 원래대로 되돌려, 문제가 억눌리지 않고 다시 드러나도록 조치
  6. 통제된 작업 시간에 표적 컴팩션을 실행해 기존에 쌓인 툼스톤 정리

성과

영향받은 테이블의 읽기 타임아웃이 사라졌고, 툼스톤 스캔 수가 몇 자릿수 단위로 줄면서 p99 읽기 지연 시간도 크게 낮아졌습니다. 이제 리페어가 일정대로 완료되어, 고객이 모르는 사이 안고 있던 데이터 부활 위험도 해소되었습니다.

기술

Apache CassandraKubernetesPrometheusLinux

Apache Cassandra 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Apache Cassandra 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.