개요
한 공공 기관은 내구성 요구 사항이 서로 다른 여러 워크로드에 Redis를 사용하면서도, 물려받은 단일 구성을 그대로 쓰고 있었습니다. 호스트 장애 시 어떤 데이터가 살아남고 어떤 데이터가 사라지는지 아무도 말할 수 없었습니다. AceMQ는 각 워크로드의 실제 요구 사항을 기준으로 배포 환경을 진단했습니다.
과제
Redis 영속성 옵션은 내구성과 지연을 맞바꾸는데, 잘못 구성하기 쉽고 장애가 나기 전까지는 알아차리기 어렵습니다. 이 기관의 인스턴스는 몇 분 치 쓰기를 잃을 수 있는 스냅샷 주기를 사용하고 있었지만, 일부 워크로드는 내구성이 보장된다고 여겨지고 있었습니다. 복제와 페일오버는 한 번도 테스트된 적이 없어, 승격 동작과 페일오버 시 데이터 손실 규모를 알 수 없었습니다.
환경
캐싱, 큐잉, 세션 워크로드를 지원하며 Sentinel로 페일오버를 관리하는 온프레미스 Redis 인스턴스.
접근 방식
AceMQ는 각 워크로드를 실제로 감당할 수 있는 손실 수준으로 분류한 뒤, 현재 구성이 보장하는 수준과 비교했습니다. 페일오버는 의도적으로 실행해 데이터 손실을 추정이 아니라 측정했으며, 그 결과 가정과 실제 동작 사이의 차이를 근거와 함께 문서화했습니다.
해결책
- 각 워크로드를 허용 가능한 데이터 손실 수준으로 분류하고 구성이 실제로 보장하는 수준과 비교
- 인스턴스별 스냅샷 주기와 append-only 파일의 fsync 정책을 해당 요구 사항과 대조해 검토
- Sentinel 페일오버를 의도적으로 실행해 실제 데이터 손실과 승격 시간을 측정
- 복제 토폴로지, 쿼럼 구성, 스플릿 브레인 노출 위험 평가
- 기존 영속성 파일을 이용한 복원 절차를 시간 측정 복구 테스트로 검증
- 각 공백을 메우는 데 필요한 구성 변경 사항을 담은 워크로드별 내구성 매트릭스 제공
성과
이 기관은 한 번도 검증되지 않았던 가정을 대신해, 각 워크로드가 어떤 장애를 견디는지에 대한 근거 기반의 문서화된 결과를 받았습니다. 내구성이 보장된다고 믿었던 워크로드 두 개가 실제로는 그렇지 않은 것으로 드러났고, 장애로 그 사실이 입증되기 전에 재구성되었습니다.