개요
Boomi 프로세스는 규제 대상 거래를 여러 시스템 간에 전달했고, RabbitMQ가 그 사이의 전송 계층 역할을 했습니다. 데이터 센터 장애에서 복구하려면 아무도 연습해 보지 않은 수동 승격을 거쳐야 했고, 메시지가 한 번 소비되면 다시 재생할 방법이 없었습니다.
과제
두 가지 공백이 서로를 악화시켰습니다. 페일오버는 연습해 본 적 없는 절차를 사람이 직접 따라야 하는 방식이었고, 큐는 소비 시점에 메시지를 삭제하기 때문에 장애 중에 무엇이 흘러갔는지 감사에 적합한 방식으로 재구성할 방법이 없었습니다. 두 문제 모두 이 환경이 감사받는 통제 항목을 깨뜨리지 않고 해결해야 했습니다.
환경
컨테이너 플랫폼의 RabbitMQ 위에서 동작하는 Boomi 통합 프로세스로, 주 데이터 센터와 재해 복구 데이터 센터에 걸쳐 운영.
접근 방식
AceMQ는 수동 페일오버와 자동 페일오버를 모두 다루는 재해 복구 설계를 작성했으며, 상용 RabbitMQ 배포판이 자동 방식에서 무엇을 바꾸는지도 포함했습니다. 동시에 일부 큐를 스트림으로 전환해 소비 이후에도 메시지를 재생할 수 있게 하는 방안을 평가했고, 브로커에 연결할 수 없을 때 Boomi 프로세스가 실패하는 대신 성능 저하 상태로 동작하도록 버퍼링 계층을 정의했습니다.
해결책
- 수동 승격과 자동 페일오버를 비교한 재해 복구 설계
- 주 데이터 센터와 DR 데이터 센터에 걸친 클러스터 사이징
- 소비 이후에도 메시지를 재생할 수 있도록 큐를 스트림으로 전환하는 방안 평가
- 이 환경의 감사 및 보존 통제 항목에 비추어 본 메시지 재생 방식 검토
- 장애 중 통합 프로세스가 실패하지 않고 성능 저하 상태로 동작하도록 하는 버퍼링 계층
- 지원 팀과 개발 팀을 위한 운영 런북 및 교육
성과
이 통합 환경은 연습을 마친 복구 절차, 장애 중 무슨 일이 있었는지에 대한 근거 있는 답변, 그리고 외부 업체를 기다리지 않고 자체 엔지니어가 실행할 수 있는 런북을 갖추게 되었습니다.