개요
한 헬스케어 분석 서비스 기업은 감사 때문에 여러 해에 걸친 데이터 보존이 필요했지만, 모든 데이터를 값비싼 핫 노드에 두고 있었습니다. AceMQ는 보존 요건을 충족하면서 데이터 대부분을 더 저렴한 스토리지로 옮기는 ILM 및 티어링 전략을 설계했습니다.
과제
보존 규칙은 직접 작성한 정리 스크립트로 적용되고 있었고, 이 스크립트가 가끔 엉뚱한 인덱스 패턴을 삭제했습니다. 웜 티어나 콜드 티어가 없었고, 스냅샷은 일관성 없이 생성되었으며, 복원을 테스트해 본 사람도 없었습니다. 컴플라이언스 팀은 특정 레코드 유형이 실제로 얼마나 오래 보존되는지 답할 수 없었습니다. 그 답은 마지막으로 성공한 스크립트가 무엇이었느냐에 달려 있었기 때문입니다.
환경
온프레미스 핫 노드와, 스냅샷 및 검색 가능 데이터용 클라우드 오브젝트 스토리지를 함께 사용하는 하이브리드 Elasticsearch 배포 환경.
접근 방식
여러 인덱스 패턴이 요구 기간보다 훨씬 오래 보존되고 있었기 때문에, 먼저 각 인덱스 패턴을 실제 규제상 보존 의무와 연결했습니다. 그런 다음 핫, 웜, 콜드 단계를 명시한 롤오버 기반 ILM 정책을 설계하고, 오브젝트 스토리지 대상 스냅샷 수명 주기 정책을 추가했으며, 복원 소요 시간을 추정이 아니라 실측값으로 알 수 있을 때까지 복원 절차를 리허설했습니다.
해결책
- 인덱스 패턴별 보존 요건을 정리하고, 정리 스크립트가 실제로 하던 동작과 대조
- 크기 및 기간 조건을 갖춘 롤오버 별칭 기반 ILM 정책을 구축해 직접 작성한 삭제 스크립트를 완전히 대체
- 강제 병합, 레플리카 축소, 노드 속성 기반 샤드 할당 필터링을 포함한 핫, 웜, 콜드 단계 정의
- 컴플라이언스 의무에 맞춘 보존 규칙으로 오브젝트 스토리지에 대한 스냅샷 수명 주기 관리 구성
- 복원 훈련을 실행하고 시간을 측정해 복구 목표를 추정치가 아닌 실측값으로 확보
- 정책 정의를 코드형 인프라로 커밋해 모든 변경이 리뷰를 거치도록 구성
성과
인덱싱된 데이터의 대부분이 이제 웜 티어와 콜드 티어에 저장되어, 쿼리 워크로드에 쓸 수 있는 핫 노드 용량이 크게 확보되었습니다. 보존은 스크립트가 아니라 정책으로 적용되며, 컴플라이언스 팀은 정책 정의만 보고도 보존 관련 질문에 바로 답할 수 있습니다.