블로그Redis

Redis 고가용성: Sentinel과 Cluster 비교, 페일오버, 그리고 장애 원인

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 15분 분량

Redis 고가용성: Sentinel과 Cluster 비교, 페일오버, 그리고 장애 원인
On this page

Redis 고가용성은 복제와 페일오버를 자동화하는 무언가의 조합으로 이루어집니다. Redis Sentinel은 단일 데이터셋에 대한 자동 페일오버를, Redis Cluster는 페일오버와 함께 여러 프라이머리에 걸친 수평 샤딩을 제공합니다. 대부분의 팀에는 Sentinel이 필요합니다. Cluster가 필요한 것은 노드 하나로 더 이상 데이터를 담거나 처리량을 감당할 수 없을 때입니다. Redis Cluster가 데이터를 샤딩하고 클라이언트를 리디렉션하는 방식, 그리고 운영 환경에서 장애가 나는 양상은 Redis Cluster: 해시 슬롯, 샤딩, 운영에서 다룹니다.

복제만으로는 고가용성이 아닙니다. 레플리카가 있는 프라이머리라도 프라이머리가 다운되었다고 판단하고, 레플리카를 승격하고, 클라이언트에게 어디로 가야 하는지 알려 주는 프로세스가 여전히 필요합니다. 아래 아키텍처들을 실제로 구분 짓는 것이 바로 이 판단 계층입니다.

Redis 복제가 기반입니다

모든 고가용성 아키텍처는 같은 기본 요소에서 출발합니다. 쓰기를 받는 Redis 마스터 하나와 그로부터 복제하는 하나 이상의 레플리카입니다.

Redis 복제는 비동기식입니다. 이 비동기 복제가 인메모리 저장소의 속도를 유지해 줍니다. 쓰기는 레플리카가 확인하기 전에 클라이언트에게 확인 응답되므로 지연 시간이 낮게 유지되지만, 프라이머리에 장애가 나면 마지막 몇 건의 쓰기가 유실될 수 있습니다. 이는 의도된, 피할 수 없는 트레이드오프입니다. 어떤 고가용성 옵션으로도 없앨 수 없으므로, 우회하려 하지 말고 이를 전제로 설계하십시오.

레플리카는 읽기를 처리하지만 단일 장애점을 없애 주지는 않습니다. 프라이머리가 다운되었는데 레플리카를 승격하는 것이 없다면, 클러스터는 쓰기에 대해 다운 상태입니다.

Redis Sentinel의 동작 방식

Sentinel은 모니터링 대상 Redis 인스턴스를 감시하고 승격을 자동으로 수행하는 별도의 프로세스입니다.

Sentinel 인스턴스는 최소 3개를 운영하십시오. 결정에는 과반수가 필요하므로, 3개면 하나가 실패해도 합의에 도달할 수 있습니다. 2개는 하나가 사라지면 과반수를 구성할 수 없습니다.

페일오버가 발생하면 다음과 같이 진행됩니다.

  1. Sentinel 하나가 프라이머리로부터 응답을 받지 못해 주관적 다운으로 표시합니다
  2. 다른 Sentinel들에게 확인을 요청하고, 충분한 수가 동의하면 프라이머리는 객관적 다운 상태가 됩니다
  3. Sentinel들이 자기들 중에서 리더를 선출하고, 리더가 가장 적합한 레플리카를 고릅니다
  4. 해당 레플리카가 마스터로 승격되고, 나머지 레플리카는 새 마스터를 따르도록 재구성됩니다
  5. 클라이언트는 모니터에 질의해 새 프라이머리를 찾습니다

마지막 단계는 팀들이 예상하는 것보다 중요합니다. Redis 클라이언트는 Sentinel을 인식해야 합니다. 즉, 하드코딩된 IP 주소를 들고 있는 대신 모니터에 현재 프라이머리 주소를 질의해야 합니다. 고정 IP로 설정된 애플리케이션은 강등된 노드에 계속 쓰기를 시도하며 소리 없이 실패합니다.

가능하면 이 프로세스들은 Redis 서버와 별도의 호스트에 배포하십시오. 프로세스가 가벼워서 같은 호스트에 두는 경우가 흔하지만, 그러면 호스트 장애 한 번에 Redis 노드와 투표권 하나가 동시에 사라집니다. 바로 투표권이 필요한 그 순간에 말입니다.

쿼럼 합의, 레플리카 승격, 새 프라이머리로의 클라이언트 리디렉션을 보여 주는 Redis Sentinel 페일오버 시퀀스 다이어그램

Redis Cluster의 동작 방식

Redis Cluster는 데이터를 여러 Redis 인스턴스에 샤딩하며, 각 인스턴스는 자체 레플리카를 가집니다. 키는 샤드들에 분산된 16,384개의 해시 슬롯에 매핑됩니다.

Cluster도 같은 방식, 즉 레플리카 승격으로 고가용성과 내결함성을 제공하지만 별도의 모니터링 계층이 없습니다. 노드들이 자기들끼리 합의합니다. 또한 Sentinel로는 불가능한 쓰기 확장도 제공합니다. Sentinel 방식에서는 레플리카가 몇 개든 하나의 프라이머리가 모든 쓰기를 처리합니다.

대가는 운영과 애플리케이션의 복잡성입니다. 다중 키 연산은 하나의 해시 슬롯 안에서만 가능하고, 일부 클라이언트는 리디렉션을 제대로 처리하지 못하며, 여러 노드에 걸친 리샤딩은 설정 변경이 아니라 본격적인 작업 절차입니다.

Sentinel과 Cluster 비교

Redis SentinelRedis Cluster
데이터복제된 단일 데이터셋여러 프라이머리에 샤딩
쓰기 확장불가: 프라이머리 1개가능
자동 승격지원지원
추가 프로세스Sentinel 노드 필요없음
클라이언트 요구 사항Sentinel 인식 필요Cluster 인식 필요
다중 키 연산제한 없음같은 해시 슬롯 내에서만
적합한 용도샤딩 없는 HAHA와 수평 확장

Redis Cluster와 Redis Sentinel을 실무적으로 나누는 기준은 이렇습니다. 데이터가 노드 하나에 여유 있게 들어가고 샤딩 없이 가용성만 필요하다면 Sentinel을 선택하십시오. 그렇지 않다면 샤딩 방식을 선택하십시오. 단지 이중화를 위해 Cluster를 고르면, 장애가 날 때마다 그 대가를 치르게 될 복잡성만 더하게 됩니다.

Redis Enterprise, Azure Cache for Redis, 클라우드 사업자의 상품 같은 매니지드 옵션은 이 선택을 자체 아키텍처 뒤에 감추며, 대개 레플리카를 여러 가용 영역에 분산합니다. 편리하지만, 승격 방식을 직접 선택하는 대신 그들의 방식을 그대로 물려받게 됩니다.

단일 데이터셋을 복제하는 Redis Sentinel과 여러 프라이머리에 데이터를 샤딩하는 Redis Cluster를 나란히 비교한 그림

Redis Sentinel에서 스플릿 브레인이 발생하고 자동으로 복구되지 않는 이유는 무엇인가요?

Sentinel이 관리하는 Redis 배포에서 스플릿 브레인은 네트워크 파티션(또는 연쇄적인 재시작 이벤트)으로 인해 두 노드 그룹이 각각 쿼럼을 확보했다고 믿고 자신이 프라이머리가 되어야 한다고, 또는 이미 프라이머리라고 판단할 때 발생합니다. 분기를 막기 위해 소수 파티션을 의도적으로 정지시키는 RabbitMQ의 pause_minority 동작과 달리, Redis Sentinel의 페일오버 및 복구 모델은 어느 노드가 실제로 다운되었는지에 대해 Sentinel들이 쿼럼 합의에 도달하는 데 의존합니다. 실제 운영 장애가 멈춰 버린 지점이 바로 이 합의 과정입니다.

실제 발생 원인. 실제 운영 환경 Redis 진단에서 Redis Sentinel의 스플릿 브레인과 자동 복구 실패는 별도의 조사 과제로 분류되었으며, 구체적으로 클러스터 재시작 중 Sentinel 부트스트랩 신뢰성 문제에서 비롯되었습니다. 즉, 문제는 극적인 네트워크 파티션 한 번이 아니라, 재시작이나 크래시 복구 이후 클러스터가 다시 온라인 상태가 될 때 Sentinel들이 쿼럼을 올바르게 재구성하고 프라이머리/레플리카 역할에 합의하지 못한 데 있었습니다.

자동으로 복구되지 않는 이유. Sentinel의 페일오버 로직은 레플리카를 승격하기 전에, 설정된 쿼럼만큼의 Sentinel 프로세스가 프라이머리에 실제로 연결할 수 없다는 데 동의할 것을 요구합니다. Sentinel 자체가 일관되지 않은 순서로 재시작하거나, 원래 문제를 일으킨 인프라 이벤트가 Sentinel 간 통신까지 방해했다면, 어떤 Sentinel 그룹도 온전한 쿼럼을 갖지 못하는 상태에 빠질 수 있습니다. 그러면 바로 이런 상황을 해결하라고 존재하는 자동 페일오버 메커니즘이 제대로 작동하지 않아 수동 개입이 필요해집니다.

이 문제가 발생했을 때 확인할 사항:

  • 모든 Sentinel 프로세스가 필요한 포트로 서로, 그리고 모니터링 대상 Redis 노드에 연결할 수 있는지 확인하십시오. 데이터 트래픽에 대해서는 해소되었지만 Sentinel gossip 트래픽에 대해서는 해소되지 않은 부분적 네트워크 문제가 있으면, 애플리케이션 수준의 연결이 정상으로 보인 뒤에도 Sentinel 쿼럼이 깨진 상태로 남을 수 있습니다
  • 실제 Sentinel 프로세스 수 대비 Sentinel quorum 설정을 검토하십시오. 배포 토폴로지에 비해 쿼럼 요구치가 너무 낮으면 바로 이런 모호한 상태가 발생할 가능성이 커집니다
  • Redis 서버 로그만이 아니라 Sentinel 로그를 따로 확인해, 반복적으로 실패한 페일오버 시도나 현재 프라이머리에 대한 Sentinel 간 불일치가 있는지 살펴보십시오. 이는 단순한 노드 장애가 아니라 쿼럼/부트스트랩 문제임을 직접 보여 주는 징후입니다
  • 자동화된 배포(컨테이너 재시작, 오케스트레이터가 관리하는 재배포)의 일부로 Sentinel 부트스트랩을 실행하고 있다면, 부트스트랩 순서에 경쟁 상태가 없는지 검증하십시오. Sentinel이 서로 또는 모니터링 대상 노드에 연결할 수 있게 되기 전에 온라인 상태가 되는 것이 바로 이 장애 유형의 흔한 계기입니다

실무적인 완화 방안: 실제 네트워크 파티션이 아니라 재시작과 맞물려 Sentinel 스플릿 브레인이 반복된다면, 해결책은 대개 Sentinel 설정 변경만이 아닙니다. 페일오버 로직이 작동하기 전에 Sentinel들이 서로, 그리고 Redis 노드와 안정적으로 연결되도록 부트스트랩/재시작 순서를 바로잡아야 합니다. Redis Cluster 모드는(Sentinel이 관리하는 단독/프라이머리-레플리카 구성과 달리) 이러한 조정 문제 중 일부를 다르게 처리하므로, 귀사 배포에서 Sentinel 부트스트랩 신뢰성이 반복되는 운영상의 고충이라면 검토해 볼 가치가 있습니다.

Redis 고가용성 설정 방법

Sentinel 구성의 실용적인 기본 설정은 다음과 같습니다.

# redis.conf on each replica
replicaof <primary-ip> 6379
min-replicas-to-write 1
min-replicas-max-lag 10
# sentinel.conf — three sentinel processes
sentinel monitor mymaster <primary-ip> 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000

마지막의 2가 쿼럼입니다. 승격이 시작되기 전에 몇 개가 동의해야 하는지를 나타냅니다. Sentinel 인스턴스가 3개라면 2가 맞습니다.

Sentinel은 별도로 설정하며, min-replicas-to-write는 대부분의 팀이 빠뜨리는 설정입니다. 이 설정은 연결된 레플리카가 지정한 수보다 적으면 프라이머리가 쓰기를 거부하도록 하여, 소리 없는 데이터 유실을 눈에 보이는 오류로 바꿉니다. down-after-milliseconds는 네트워크에 맞게 조정하십시오. 너무 공격적으로 설정하면 평범한 지연에도 불필요한 승격이 일어납니다.

고가용성 Redis가 그래도 다운되는 이유

올바른 설정만으로는 충분하지 않습니다. 저희가 최근에 다룬 세 가지 장애 유형이 있으며, 어느 것도 설정 검토로는 잡아낼 수 없습니다.

백그라운드 저장 중 메모리 고갈. Redis는 스냅샷을 쓰기 위해 fork하며, fork는 copy-on-write를 사용합니다. 저장 중에 워크로드가 쓰기를 많이 하면 부모와 자식 프로세스의 메모리가 갈라지면서 메모리 사용량이 데이터셋의 두 배를 향해 늘어납니다. 저희는 약 60퍼센트의 메모리 사용률, 즉 설정해 둔 어떤 경보 임계값보다도 한참 낮은 수준에서 반복적으로 다운되던 고객사를 조사했는데, 원인은 정확히 백업 중의 fork 동작이었습니다. 해결책은 Redis 설정이 아니라 메모리 오버커밋 동작에 대한 커널 수준의 튜닝이었습니다.

피크 사용량에 fork 오버헤드를 더한 값이 RAM에 들어가도록 용량을 계획하십시오. 스냅샷을 만드는 쓰기 중심 인스턴스라면 평상시 50퍼센트가 합리적인 상한입니다.

부트스트랩 중 스플릿 브레인. 같은 환경에서 시작 시의 DNS 지연이 스플릿 브레인을 일으켰습니다. 오래된 주소를 조회한 노드들이 누가 프라이머리인지에 대해 서로 다른 판단을 내린 것입니다. 이는 정상 운영 상태의 문제가 아니라 부트스트랩 순서의 문제이며, 클러스터 전체가 함께 재시작할 때만 나타납니다. 그리고 그것이 바로 Kubernetes에서 노드 드레인이나 롤링 업데이트 중에 일어나는 일입니다.

스크립트로 처리하는 DNS 의존적 부트스트랩은 충분히 취약하기 때문에, 저희는 대신 Raft 기반 합의로 Sentinel 부트스트랩을 자동화해 외부 의존성을 아예 없애는 플러그인을 개발하고 있습니다.

레플리카 정체. 크게 뒤처져 전체 재동기화가 필요해진 레플리카는 프라이머리에 또 한 번의 fork를 강제합니다. 대개 최악의 순간에 말입니다. 레플리카 지연은 부차적인 지표가 아니라 핵심 지표로 모니터링하십시오.

설정으로는 설명되지 않는 Redis 다운을 겪고 있습니까? 이런 장애는 대개 Redis 아래 계층, 즉 커널의 메모리 동작, DNS, 오케스트레이션에 원인이 있습니다. AceMQ는 이를 찾아내는 체계적인 Redis 진단을 수행합니다. AceMQ 엔지니어와 상담하십시오.

백그라운드 저장 fork 중 Redis 메모리 사용량이 두 배로 늘어나 기준 사용률 60퍼센트에서 메모리 부족으로 다운되는 과정을 보여 주는 차트

Kubernetes 기반 Redis

Kubernetes는 장애 모델을 바꿉니다. 파드가 이동하고, IP 주소가 바뀌며, 롤링 업데이트 중에는 분산 시스템 전체가 한꺼번에 재시작될 수 있습니다.

대부분의 장애를 예방하는 세 가지 원칙은 다음과 같습니다.

  • 안정적인 네트워크 식별자를 갖는 StatefulSet을 사용해, 재시작된 Redis 인스턴스가 새 주소가 아니라 예측 가능한 이름을 유지하도록 합니다
  • 안티어피니티로 레플리카를 노드와 가용 영역에 분산합니다. 같은 물리 노드에 있는 레플리카는 아무런 보호도 제공하지 않습니다
  • PodDisruptionBudget을 설정해, 드레인이 프라이머리와 Sentinel 노드의 과반수를 동시에 축출하지 못하도록 합니다

Redis와 Sentinel 모두 이렇게 다뤄야 합니다. 데이터 노드만 보호하고 모니터 파드는 자유롭게 축출되도록 두면, 승격을 가능하게 하는 과반수가 사라집니다.

모범 사례

  • Sentinel 인스턴스 3개를 Redis 서버 호스트와 다른 장애 도메인에 배치
  • 복수의 레플리카: 모든 프라이머리 노드마다 최소 2개를 두어, 하나가 실패해도 승격 후보가 남도록 합니다
  • Sentinel 또는 Cluster를 인식하는 클라이언트: 프라이머리 IP 주소를 절대 하드코딩하지 마십시오
  • min-replicas-to-write: 프라이머리가 쓰기를 소리 없이 잃는 대신 분명하게 실패하도록 합니다
  • 워킹 셋만이 아니라 fork 오버헤드까지 고려한 용량
  • 레플리카 지연, 메모리 단편화, 모니터 상태에 대한 경보: 프로세스 가동 여부만으로는 부족합니다
  • 의도적으로 테스트하십시오. 테스트하지 않은 승격 경로는 보장이 아니라 가설입니다

메시징 계층에도 같은 접근이 필요하다면, RabbitMQ 트러블슈팅 가이드에서 그에 해당하는 장애 유형을 다룹니다. 운영 환경에 대한 실무 지원은 Redis 기술 지원 및 장애 대응을 참고하십시오.

가상화 인프라에서는 토폴로지만큼 배치도 중요합니다. VMware 환경의 Redis 안티어피니티를 참고하십시오.

Sentinel과 Cluster 중 선택하기: 판단 기준과 흔한 잘못된 선택

결정은 한 가지 질문으로 귀결됩니다. 데이터셋과 그에 대한 쓰기 속도가 노드 하나에 들어가는가? 그렇다면 Sentinel, 아니라면 Cluster입니다.

Sentinel은 복제된 단일 데이터셋을 위한 페일오버입니다. 프라이머리 하나가 모든 키를 보유하고, 레플리카가 이를 복사하며, Sentinel들이 감시하다가 프라이머리가 사라졌다는 데 쿼럼으로 합의하면 레플리카를 승격하고, 새 프라이머리를 묻는 클라이언트에게 응답합니다. 단독 Redis의 동작 방식이 그대로 유지되므로, 어떤 키에 대해서든 MULTI/EXEC와 Lua를 사용할 수 있습니다. 클라이언트에서 바뀌는 것은 연결 시와 오류 시 Sentinel 조회뿐입니다.

Cluster는 페일오버가 내장된 샤딩입니다. 키스페이스는 16384개의 해시 슬롯으로 나뉘어 여러 프라이머리에 분산되며, 각 프라이머리는 자체 레플리카를 가집니다. 잘못된 노드에 요청한 클라이언트는 MOVED 리디렉션(영구) 또는 ASK 리디렉션(마이그레이션 중)을 받고 이를 따라가야 하므로, 최신 슬롯 맵을 유지하는 Cluster 인식 라이브러리가 필요합니다. 다중 키 명령, 트랜잭션, Lua는 모든 키가 같은 슬롯에 있어야 하므로, 키 이름에 {user:42}:profile 같은 해시 태그를 붙입니다.

데이터셋이 여유를 두고 노드 하나에 들어가고, 프라이머리 하나가 쓰기 속도를 감당할 수 있으며, 임의의 키에 걸친 트랜잭션이나 Lua에 의존하거나, 클라이언트가 단순하다면 Sentinel을 선택하십시오. 데이터셋이나 쓰기 처리량이 노드 하나를 넘어서고 수평 확장이 계획되어 있다면 Cluster를 선택하십시오.

저희가 가장 자주 보는 잘못된 선택은 더 가용성이 높아 보인다는 이유로 4 GB 데이터셋에 Cluster를 쓰는 것입니다. 그렇지 않습니다. Cluster의 페일오버도 같은 레플리카 승격이며, 조건은 더 엄격하고(프라이머리 과반수에 연결 가능해야 함) 필요한 자원은 두 배입니다. 필요하지도 않은 샤딩을 위해 클라이언트 복잡성과 키 설계의 대가를 치르는 것입니다. 저희는 가용성을 잃지 않고 Sentinel로 되돌아간 팀을 여럿 도왔습니다.

Redis 페일오버 중에 실제로 일어나는 일과 쓰기가 유실되는 지점

Sentinel에서는 순서가 정해져 있습니다. down-after-milliseconds 안에 유효한 응답을 받지 못한 Sentinel은 프라이머리를 SDOWN(주관적 다운)으로 표시합니다. 다른 Sentinel들에게 확인을 요청하고, 쿼럼이 동의하면 프라이머리는 ODOWN이 됩니다. Sentinel들은 에포크 번호가 붙은 투표로 리더를 선출합니다. 리더는 쿼럼이 아니라 전체 Sentinel의 과반수를 얻어야 하며, 그래서 Sentinel 2개로는 하나가 다운되면 페일오버할 수 없습니다. 리더는 replica-priority가 가장 낮은 레플리카를, 그다음으로는 복제 오프셋이 가장 높은 레플리카를 골라 REPLICAOF NO ONE을 보내고, 나머지 레플리카가 이를 따르도록 지정한 뒤 +switch-master를 발행합니다. 클라이언트는 아무 Sentinel에나 현재 프라이머리를 물어 재연결합니다. failover-timeout은 각 단계와 재시도 간격의 상한을 정합니다.

Cluster에서는 프라이머리들이 판정을 내립니다. cluster-node-timeout 동안 응답이 없는 노드는 PFAIL로 표시됩니다. 장애 보고는 gossip으로 전파되며, 프라이머리 과반수가 동의하면 FAIL이 됩니다. 다운된 프라이머리의 각 레플리카는 복제 오프셋 순서에 따른 지연 시간만큼 기다리므로, 데이터를 가장 많이 가진 레플리카가 먼저 투표를 요청합니다. 레플리카는 새 에포크로 투표를 요청하고, 프라이머리 과반수의 표가 필요하며, 각 프라이머리는 에포크당 한 번만 투표합니다. 승자는 슬롯을 넘겨받고, config epoch를 올린 뒤 이를 브로드캐스트합니다. 클라이언트는 MOVED 리디렉션을 통해 이를 알게 되고 슬롯 맵을 갱신합니다.

두 모드 모두 복제는 비동기식입니다. 프라이머리는 레플리카가 쓰기를 받기 전에 클라이언트에게 확인 응답을 보냅니다. 승격된 레플리카의 오프셋이 기준이 되므로, 프라이머리가 다운되는 시점에 이 구간에 있던 것은 모두 사라집니다. 이 구간은 보통 밀리초 단위이지만, 레플리카가 뒤처져 있다면 초 단위가 됩니다.

min-replicas-to-write와 min-replicas-max-lag는 이 구간의 범위를 제한합니다. 값이 1과 10이면, 프라이머리는 최소 하나의 레플리카가 연결되어 10초 이내에 보고하지 않는 한 쓰기를 거부합니다. 복제를 동기식으로 만드는 것은 아닙니다. 반드시 살아남아야 하는 단일 쓰기에는 WAIT를 사용하십시오.

같은 설정이 스플릿 브레인에 대한 Sentinel의 해답이기도 합니다. Sentinel들과 단절되었지만 일부 클라이언트는 여전히 접근할 수 있는 이전 프라이머리는 재구성될 때까지 쓰기를 계속 받으며, 이 쓰기는 재합류 시 모두 폐기됩니다. 레플리카들이 새 프라이머리를 따르게 되면 이전 프라이머리는 min-replicas 검사에 실패해 쓰기를 거부합니다. Cluster는 더 단호합니다. 파티션의 소수 측에 있는 프라이머리는 cluster-node-timeout 후 서비스를 중단하고 CLUSTERDOWN을 반환합니다.

down-after-milliseconds와 cluster-node-timeout은 GC 일시 정지나 VM 정체가 불필요한 페일오버를 일으키지 않을 만큼 충분히 높게 설정하십시오(VMware 안티어피니티 참고). 클라이언트 타임아웃은 측정된 페일오버 시간보다 길게 설정하고, 연결 오류와 READONLY 발생 시 백오프를 두어 재시도하며, 라이브러리가 주소를 캐시하지 않고 Sentinel이나 슬롯 맵에 다시 질의하는지 확인하십시오. 그런 다음 프로세스 강제 종료와 방화벽 파티션을 모두 리허설하십시오. 페일오버의 예상치 못한 문제 대부분은 파티션 상황에서만 드러나기 때문입니다. 합리적인 최소 구성은 3개의 장애 도메인에 Sentinel 3개, Cluster라면 프라이머리 3개에 각각 레플리카 1개입니다. 저희가 보는 고객들의 흔한 실수는 순서대로 다음과 같습니다. Sentinel 2개, 감시 대상 Redis와 같은 호스트의 Sentinel, 애플리케이션에 하드코딩된 프라이머리 주소, 그리고 페일오버보다 짧은 클라이언트 타임아웃입니다. 저희의 Redis 컨설팅 작업은 대개 이 중 하나를 바로잡는 데서 시작합니다.

이 글은 운영 환경에서 문제가 나타나는 순서대로 다루는 Redis 안정성 가이드의 7단계 중 1단계입니다.

자주 묻는 질문

Redis 고가용성이란 무엇인가요?

복제와 자동 페일오버를 결합해 노드 장애가 발생해도 Redis가 계속 서비스하도록 하는 아키텍처입니다. 복제만으로는 충분하지 않습니다. 장애를 감지하고, 레플리카를 승격하고, 클라이언트를 리디렉션하는 무언가가 있어야 합니다.

Redis Sentinel과 Redis Cluster의 차이는 무엇인가요?

Sentinel은 복제된 단일 데이터셋에 자동 승격 기능을 더합니다. Cluster는 데이터를 여러 프라이머리에 샤딩하고 장애를 내부적으로 처리합니다. 전자는 가용성을, 후자는 가용성과 함께 쓰기 확장성을 제공합니다.

Sentinel 인스턴스 프로세스는 몇 개가 필요한가요?

최소 3개입니다. 페일오버에는 쿼럼 합의가 필요하며, 3개면 모니터 하나가 실패해도 과반수에 도달할 수 있습니다. 2개로는 불가능합니다.

페일오버 중에 Redis 데이터가 유실되나요?

유실될 수 있습니다. Redis 복제는 비동기식이므로, 프라이머리가 확인 응답했지만 아직 복제되지 않은 쓰기는 프라이머리 장애 시 유실됩니다. min-replicas-to-write는 연결된 레플리카가 너무 적을 때 쓰기를 거부함으로써 유실 위험을 제한합니다.

모니터는 프라이머리가 다운되었다는 것을 어떻게 판단하나요?

한 프로세스가 down-after-milliseconds 안에 응답을 받지 못하면 프라이머리를 주관적 다운으로 표시합니다. 설정된 쿼럼을 충족할 만큼 충분한 프로세스가 동의하면 객관적 다운이 되고 페일오버가 시작됩니다.

메모리가 정상으로 보이는데 Redis가 다운되는 이유는 무엇인가요?

대개 백그라운드 저장 시의 fork 때문입니다. copy-on-write로 인해 쓰기 부하가 있는 상태에서 스냅샷을 만드는 동안 메모리가 데이터셋의 두 배 가까이 늘어날 수 있으므로, 사용률 60퍼센트인 노드라도 저장 도중 RAM이 고갈될 수 있습니다. 피크에 fork 오버헤드를 더한 값으로 사이징하십시오.

Kubernetes에서 고가용성 Redis를 운영할 수 있나요?

가능합니다. StatefulSet, 노드와 가용 영역에 걸친 안티어피니티, 그리고 Redis와 Sentinel을 모두 포함하는 PodDisruptionBudget을 사용하십시오. 흔한 장애는 롤링 업데이트가 프라이머리와 Sentinel 쿼럼을 동시에 축출하는 경우입니다.

Redis Cluster 고가용성 구성에는 노드가 몇 개 필요한가요?

6개입니다. 프라이머리 3개에 각각 레플리카 1개씩입니다. 프라이머리 3개는 그중 하나가 다운된 상태에서도 장애 감지와 레플리카 선출을 위한 과반수를 구성할 수 있는 최소 단위이며, 프라이머리마다 레플리카가 있어야 비로소 페일오버가 가능합니다. 6개 노드를 최소 3개의 장애 도메인에 분산하고, 어떤 프라이머리도 자신의 레플리카와 같은 호스트나 하이퍼바이저를 공유하지 않도록 하십시오. 더 큰 클러스터에도 같은 원칙이 적용됩니다. 가능하면 프라이머리 수를 홀수로 유지하고, 레플리카 없는 프라이머리는 절대 운영하지 마십시오. AceMQ의 Redis 기술 지원은 하루 24시간 플랜에 따라 15분부터 시작하는 대응 목표로 페일오버 테스트와 토폴로지 검토를 지원합니다.

참고 자료

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

가이드, 비교, 리서치

Redis 더 깊이 알아보기

무료 상담

Redis 배포 환경, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의