전체 사례로 돌아가기

기술 지원금융 서비스 / 결제

증명할 수 있는 일정에 맞춰 반드시 완료되는 리페어

글로벌 결제 처리 기업

안티 엔트로피 리페어가 gc_grace_seconds 안에 한 번도 끝나지 않아, 삭제된 데이터가 되살아날 위험에 노출되어 있던 클러스터에 지속적인 기술 지원을 제공합니다.

개요

한 결제 처리 기업은 모든 키스페이스에 대해 전체 리페어를 호출하는 cron 작업으로 리페어를 실행하고 있었습니다. 실행 시간이 gc_grace_seconds 기간을 넘기는 일이 잦았고, 실행이 서로 겹쳤으며, 클러스터 I/O를 포화시켜 강제 종료되기도 했습니다. 링 전체가 마지막으로 완전히 리페어된 시점을 누구도 말할 수 없었습니다. AceMQ가 전담 시니어 엔지니어와 함께 기술 지원을 맡게 되었습니다.

과제

gc_grace_seconds 안에 끝나지 않는 리페어는 단순한 관리 문제가 아닙니다. 컴팩션이 일부 레플리카에서만 툼스톤을 제거하면 삭제된 데이터가 다시 살아날 수 있다는 뜻입니다. 대규모 멀티 데이터센터 링 전체에 대한 리페어는 비용이 너무 커서 끝까지 완료할 수 없었고, 리페어가 일으키는 스트리밍은 운영 트래픽과 직접 경쟁했습니다.

환경

온프레미스와 클라우드에 걸쳐 거래 원장 및 정산 데이터를 저장하는 멀티 데이터센터 Apache Cassandra.

접근 방식

AceMQ는 링 전체 리페어를, 클러스터의 가용 여유에 맞춰 속도를 조절하고 중단 후에도 이어서 재개할 수 있는 예약형·세그먼트 단위 증분 리페어로 대체했습니다. 리페어와 컴팩션이 같은 I/O를 두고 경쟁하지 않도록 테이블별로 컴팩션 전략과 처리량 설정을 재조정했습니다.

해결책

  1. cron 기반 전체 리페어를, 처음부터 다시 시작하지 않고 이어서 재개하는 예약형 세그먼트 리페어 오케스트레이터로 대체
  2. 업무 시간 중 I/O를 포화시키지 않도록 클러스터의 가용 여유에 맞춰 리페어 속도 조절
  3. 기본값이 아닌 실제 읽기, 쓰기, 삭제 패턴에 맞춰 테이블별 컴팩션 전략 재조정
  4. 하부 스토리지에 맞춰 컴팩션 처리량과 동시 컴팩터 설정 조정
  5. 키스페이스별 리페어 완료 시간을 gc_grace_seconds와 대비해 추적하고 알림을 설정할 수 있는 지표로 계측
  6. 1차 분류 단계 없이 시니어 Cassandra 엔지니어에게 바로 연결되는 24/7 에스컬레이션 제공

성과

이제 모든 키스페이스에서 리페어가 gc_grace_seconds보다 훨씬 앞서 완료되며, 완료 여부는 추정이 아니라 지표로 추적됩니다. 클러스터가 안고 있던 데이터 부활 위험이 해소되었고, 리페어가 실행되는 동안에도 운영 환경의 지연 시간이 더 이상 악화되지 않습니다.

기술

Apache CassandraReaperPrometheusKubernetes

Apache Cassandra 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Cassandra 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.