On this page
전문적인 Boomi 통합 진단은 역량 있는 사내 팀도 자신들의 도구 안에서는 보지 못하는 문제를 드러냅니다. 로드 밸런싱된 엔드포인트가 아니라 단일 노드를 가리키는 커넥션, 기본값에서 슬그머니 재정의된 프로토콜 설정, 브로커 장애처럼 보이는 멈춘 큐, 그리고 통합 스택 전반에 걸친 공유 관측성의 부재가 그것입니다. 이 중 어느 것도 눈에 띄는 오류로 나타나지 않습니다. 원할 때 아무도 재현하지 못하는 간헐적인 멈춤으로 나타날 뿐입니다.
Boomi는 엔터프라이즈용 iPaaS(integration platform as a service)입니다. Dell Boomi의 AtomSphere 런타임은 조직의 통합 워크플로 뒤에서 커넥터, API 관리, 데이터 매핑을 처리하며, AtomSphere 플랫폼이 관리하는 Atom 또는 molecule 인스턴스에서 실행됩니다. 배치가 아닌 실시간 통합 프로세스의 경우 이 런타임은 보통 메시징 계층 위에서 동작하는데, 이번 프로젝트에서는 RabbitMQ였고, 아래 발견 사항 중 여러 가지가 실제로 이 계층에 있었습니다.
아래 내용은 디지털 전환 작업을 레거시 예약 작업에서 실시간 통합 프로세스로 옮기던 한 연방 정부 시스템 통합 업체를 대상으로, AceMQ가 여러 세션에 걸쳐 진행한 실제 Boomi 진단에서 나온 것입니다. 세부 사항은 일반화해 서술했으며 고객사와 개인의 이름은 밝히지 않습니다.
Boomi를 배치에서 실시간으로 전환하면 왜 RabbitMQ가 핵심 경로에 놓이게 되나요?
프로젝트는 마이그레이션이 진행 중인 상태에서 시작되었습니다. 고객사는 레거시 .NET 예약 배치 환경에서 벗어나 실시간 Boomi 통합 프로세스로 전환하고 있었고, 실시간 처리를 가능하게 하는 요소가 RabbitMQ였습니다. 이 전환은 '정상 동작'의 의미를 바꿉니다. 새벽 3시에 시작해 오전 8시 전에만 끝나면 되던 배치 작업은 15분이 걸리든 2시간이 걸리든 아무도 신경 쓰지 않았습니다. 반면 Boomi 리스너가 큐에서 가져가는 실시간 게이트웨이는 레코드 1,000건이 한꺼번에 몰려도 타임아웃 없이 처리해야 합니다. 백로그를 흡수해 줄 야간 시간대가 없기 때문입니다.
아키텍처에도 그런 목표가 반영되어 있었습니다. 테스트와 운영 환경에는 노드 3개짜리 molecule, 개발 환경에는 단일 노드 Atom이 있었고, 약 35개의 RabbitMQ 리스너가 환경 전반에 연결되어 발행/구독, 비동기 문서 처리, 장시간 배치 처리를 나란히 수행하고 있었습니다. 커넥션 수준이나 프로토콜 수준의 문제가 숨어 있을 수 있는 범위가 그만큼 넓었고, Boomi 통합 진단이 하나하나 짚어 보도록 설계된 범위가 바로 이런 곳입니다.
아무것도 처리되지 않는데 Boomi 리스너가 정상으로 표시되는 이유는 무엇인가요?
이번 프로젝트의 계기가 된 반복 증상이 이것이었습니다. 모든 Boomi 리스너가 자체 상태 화면에서는 정상으로 표시되는데, 그 뒤의 RabbitMQ 큐는 꼼짝도 하지 않았습니다. 요란하게 실패하는 것도, 알림이 울리는 것도 없었습니다. 그냥 멈췄을 뿐입니다.
근본 원인은 '리스너 상태'가 실제로 측정하는 것과 팀이 측정한다고 가정하는 것 사이의 차이에 있습니다. Boomi의 리스너 상태는 리스너 컴포넌트가 시작되어 계속 실행 중인지, 즉 배포 상태를 반영할 뿐 브로커와의 실시간 연결을 반영하지 않습니다. 리스너가 통신하던 RabbitMQ 노드가 다운되거나, 재부팅되거나, 패치 후 재시작되어 리스너 아래의 채널이 끊어져도, 리스너는 무기한 정상으로 표시될 수 있습니다. RabbitMQ는 내결함성을 갖추고 있어 많은 토폴로지에서 결국 커넥션을 복구하지만, '결국'은 실시간 SLA가 될 수 없습니다. 그리고 절대 빨간색으로 바뀌지 않는 리스너 대시보드는 팀이 들여다볼 이유를 주지 않습니다.
Boomi의 RabbitMQ 커넥션에 노드 IP 직접 연결이 아니라 F5 VIP가 필요한 이유는 무엇인가요?
리스너 정체 문제의 해결책은 Boomi의 RabbitMQ 커넥션이 어떻게 구성되어 있는지로 거슬러 올라갔습니다. 진단에서는 표준 진단 순서를 따라 점검했습니다. 커넥션이 로드 밸런서로 감싸져 있는가, 풀 앞단에 VIP가 있는가, 그 풀이 노드 하나에 고정되지 않고 실제로 클러스터의 모든 노드에 분산하고 있는가. 그 결과 고객사의 RabbitMQ 커넥션은 F5를 거치고 있었지만 필요한 방식으로 구성되어 있지 않았습니다. 제대로 된 로드 밸런싱 풀이 아니었고, 단일 노드로의 고정(sticky) 라우팅을 막는 장치도 없었으며, 헬스 체크는 브로커 가용성을 판단하기에 적절하지 않은 CPU 기반 지표를 쓰고 있었습니다.
수정된 구성에서는 해당 커넥션이 모든 클러스터 노드를 앞에서 받는 F5 VIP의 DNS 항목을 가리키고, sticky 설정이 없는 진짜 로드 밸런싱 풀로 구성됩니다. 이 변경 하나로 세 가지가 동시에 해결됩니다. RabbitMQ가 실제로 정상인 노드들로 라우팅하고 부하를 분산할 수 있게 되고, 패치를 위해 노드 하나를 내려도 더 이상 통합 장애가 되지 않으며, Boomi 컴포넌트를 하나도 건드리지 않고 F5 뒤에서 커넥션 풀을 전환하는 RabbitMQ 블루/그린 업그레이드 같은 작업이 가능해집니다.
frame_max를 낮게 설정하면 Boomi 통합은 실제로 어떤 대가를 치르나요?
RabbitMQ 커넥션에 대한 Boomi의 환경 확장(environment extension) 설정 깊숙이 명시적인 재정의가 숨어 있었습니다. frame_max가 16 KB로 설정되어 있었던 것입니다. 고객사 쪽 누구도 이유를 설명하지 못했고, 돌아온 대답은 대략 '처음부터 그렇게 되어 있었다'는 것이었습니다. RabbitMQ는 기본적으로 AMQP 0-9-1 최대 프레임 크기를 131,072바이트(128 KiB)로 협상합니다. 이를 16 KB로 낮춰 재정의한다고 더 안전해지는 것은 없으며, RabbitMQ가 메시지 하나를 나눠야 하는 프레임 수만 늘어납니다. 기본 크기에서 96개 안팎의 프레임이면 되는 16 MB 페이로드가 16 KB 설정에서는 약 8,000개의 프레임을 필요로 했습니다. 통합이 보내는 모든 대용량 메시지에 아무런 이점 없이 순수한 프로토콜 오버헤드만 더해진 셈입니다.
해결책은 재정의를 완전히 제거하고, 숫자를 하드코딩하는 대신 커넥션 컴포넌트가 플랫폼 기본값을 협상하도록 하는 것이었습니다. 그래야 앞으로 기반 RabbitMQ 설정이 바뀌어도, 아무도 설정한 기억이 없는 낡은 값과 조용히 충돌하는 대신 자동으로 반영됩니다.
이런 종류의 발견 사항은 결코 장애로 드러나지 않습니다. 5년 된 기본값을 의심할 이유가 있는 누군가가 찾아 나설 때까지, 통합이 보내는 모든 대용량 메시지에 조용히 그리고 끝없이 비용을 물릴 뿐입니다.
멈춘 EBS 로거 큐 하나가 어떻게 운영 중인 Boomi 실행을 중단시키나요?
가장 심각한 발견 사항은 내부 로깅 큐 하나에서 비롯된 운영 환경 멈춤이었습니다. Boomi 프로세스가 구조화된 JSON 로그 레코드를 공유 로깅 테이블에 기록하는 데 쓰던 EBS 로거 익스체인지였습니다. 장애 당시 이 큐에는 메시지 2건이 멈춰 있고 42건이 거부되고 있었으며, 브로커의 ack되지 않은 메시지 수는 100을 훌쩍 넘어 안정되지 않고 계속 늘어나고 있었습니다.
해결책보다 진단이 더 중요했습니다. 토폴로지의 다른 곳에 메시지가 여전히 'ready' 상태로 남아 있는데 ack되지 않은 메시지 수가 늘어난다면 이는 브로커 문제가 아닙니다. RabbitMQ는 본래 해야 할 일, 즉 컨슈머에게 전달되었지만 확인 응답을 받지 못한 메시지를 재전달이 필요할 경우에 대비해 보관하는 일을 정확히 하고 있었습니다. 실제 장애는 그 앞단에 있었습니다. 컨슈머가 작업을 받아 놓고 끝내지 못한 것이며, 네트워크 순단, 막힌 SQL 호출, 또는 다운스트림 타임아웃으로 문서가 처리 중 상태로 남은 채 확인 응답이 영영 돌아오지 않았을 가능성이 컸습니다. 그런 상태의 컨슈머가 충분히 많아지자 실행 슬롯이 포화되고, prefetch된 메시지는 ack되지 않은 채 남았으며, 로깅 경로 전체가 그 뒤로 밀렸습니다.
복구 방법은 멈춘 컨슈머 뒤에 있는 RabbitMQ 커넥션을 선별적으로 강제 종료하는 것이었습니다. 그러면 Boomi는 돌아올 리 없는 커넥션을 무기한 기다리는 대신 재연결해 깨끗한 채널을 다시 수립합니다. 이후 ack되지 않은 메시지 수는 120대에서 100대로, 백로그가 정리되면서 결국 한 자릿수까지 꾸준히 줄었습니다. 메시지 내구성을 건드리거나 큐를 비울 필요는 전혀 없었습니다. 필요한 것은 브로커는 정상이고 애플리케이션 계층이 문제라는 사실을 정확히 짚어 내는 것이었습니다.
Boomi의 경쟁 컨슈머에 prefetch와 single active consumer가 중요한 이유는 무엇인가요?
Boomi molecule은 각 노드에서 모든 리스너의 사본을 따로 실행하며, 사본마다 고유한 동시성 설정을 가집니다. 이 환경에서는 노드 3개짜리 molecule에서 리스너 사본당 동시성 2로 설정되어, 결과적으로 약 10개의 경쟁 컨슈머가 모두 같은 RabbitMQ 큐에서 메시지를 가져가고 있었습니다. 메시지 순서가 중요하지 않은 워크로드라면 합리적인 처리량 패턴입니다. 하지만 순차 처리가 필요한 워크로드라면, 경쟁 컨슈머 10개는 잘못된 트래픽 패턴이 드러내 주기만을 기다리는 정합성 리스크입니다.
RabbitMQ 공식 가이드는 처리량이 중요한 큐의 최적 prefetch 값을 100~300 구간으로 제시하며, prefetch를 1로 두면 모든 처리가 직렬화되어 대부분의 시간을 왕복 통신에 쓰게 되므로 성능이 크게 떨어진다고 명시합니다. prefetch를 1로 낮춰 처리량과 순서 보장을 맞바꾸는 대신, 실제로 순차 처리가 필요한 큐에 single active consumer(x-single-active-consumer)를 적용하도록 권고했습니다. 이 기능은 큐마다 한 번에 정확히 하나의 컨슈머만 활성 상태로 유지하고, 그 컨슈머가 빠지면 자동으로 페일오버합니다. 왕복 통신 비용 없이 순서를 보장하는 것입니다. 고객사는 운영 환경에 적용하기 전에 하위 환경에서 먼저 파일럿을 진행하기로 했습니다.
Prometheus와 Grafana 대시보드를 공유하지 않으면 어떤 관측성 공백이 생기나요?
프로젝트를 시작할 당시 고객사에는 Boomi와 RabbitMQ 사이에 공유된 관측성이 거의 없었습니다. 개발 환경에는 일부 Boomi 지표를 수집하는 Prometheus Java 에이전트가 있었지만, 데이터는 수집되자마자 버려지고 있었습니다. 어디에도 저장되지 않았으므로 문제가 생겼을 때 돌아볼 이력이 없었습니다. Boomi 전용 Grafana 레이블링도, Boomi 런타임에서 직접 데이터를 가져오는 OpenTelemetry 컬렉터도 없었습니다. 정작 중요한 운영 환경과 테스트 환경에는 아무것도 없었습니다.
이후 세션에 걸쳐 AceMQ 엔지니어는 Boomi/molecule 쪽에 JMX 익스포터를 구축하고, 이미 RabbitMQ용으로 준비 중이던 Prometheus 및 Grafana 대시보드와 연결해 두 가지를 공유 대시보드 폴더 아래에 배치했습니다. 그 결과 Boomi와 RabbitMQ 지표를 별개의 도구 두 개가 아니라 나란히 놓고 볼 수 있게 되었습니다. 여기에는 부하가 몰리거나 멈춘 개별 molecule 노드를 이상치로 잡아내기 위한 파드별 지표 수집과, 이번 진단에서 이미 수작업으로 찾아낸 장애 유형, 즉 블로킹된 스레드, 교착 상태, 멈춘 채 돌아오지 않는 파드를 겨냥한 임계값 기반 탐지기도 포함되었습니다.
이것이 이 글에 나온 다른 모든 발견 사항 뒤에 있던 진짜 공백을 메웁니다. Boomi와 RabbitMQ를 서로 무관한 두 시스템으로 모니터링하면, 리스너 정체, 멈춘 로거 큐, 낮춰진 frame_max가 밖에서는 모두 똑같아 보입니다. 무언가 느리거나 멈췄는데, 어느 쪽에서 시작되었는지 아무도 말하지 못합니다. 나란히 보는 관측성이 있어야 이것이 몇 시간짜리 긴급 회의가 아니라 5분짜리 진단이 됩니다.
대부분의 Boomi 통합 진단에서 드러나는 패턴이 이렇습니다. 플랫폼은 서류상으로는 문제없이 돌아가고, 실제 리스크는 커넥션 계층, 프로토콜 설정, 그리고 아무도 함께 지켜보지 않는 두 시스템 사이의 모니터링 공백에 있습니다. 이를 바로잡으면 가동 시간뿐 아니라 운영 효율로도 보답이 돌아옵니다. 멈추는 데이터 파이프라인이 줄고, 일일이 지켜볼 필요 없는 워크플로가 생기며, 다음 튜닝을 최적화하는 데 실제로 믿을 수 있는 분석 데이터를 얻게 됩니다. 이 내용이 다른 곳에 없는 이유이기도 합니다. 벤더 문서가 아니라 AceMQ가 직접 수행한 RabbitMQ 통합 프로젝트에서 나온 것이기 때문입니다. 통합 계층과 그 메시징 기반을 함께 진단해 본 적이 없다면 AceMQ에 Boomi 통합 진단을 문의하십시오.
자주 묻는 질문
Boomi 통합 진단에서는 실제로 무엇을 점검하나요?
현업 통합 팀이 내부에서는 발견하기 어려운 것들을 점검합니다. 메시징 계층을 포함한 다운스트림 시스템으로의 Boomi 커넥션이 로드 밸런싱되어 있는지 아니면 단일 노드를 가리키고 있는지, 프로토콜 수준 설정이 플랫폼 기본값과 일치하는지, 리스너 뒤에 멈춘 메시지나 확인 응답(ack)되지 않은 메시지가 쌓이고 있는지, prefetch와 컨슈머 동시성이 워크로드에 맞게 튜닝되어 있는지, 그리고 Boomi와 그 통합 계층을 함께 모니터링하고 있는지 아니면 서로 단절된 두 시스템으로 보고 있는지입니다.
아무것도 처리되지 않는데 Boomi 리스너가 정상으로 표시되는 이유는 무엇인가요?
Boomi의 리스너 상태는 브로커와의 실시간 연결이 아니라 배포 상태를 반영합니다. 리스너가 정상적으로 배포된 뒤 RabbitMQ 쪽에서 채널이 끊어지면, 그 아래의 커넥션은 이미 사라지고 메시지 이동이 멈췄는데도 리스너는 계속 정상(초록색)으로 표시될 수 있습니다.
RabbitMQ의 기본 frame_max 값은 얼마이며, 낮게 설정하면 왜 Boomi 통합에 해가 되나요?
RabbitMQ는 기본적으로 frame_max를 131,072바이트(128 KiB)로 협상합니다. 이를 강제로 낮춘다고 안전 여유가 생기지는 않으며, 오히려 메시지 하나를 전달하는 데 필요한 프레임 수만 늘어납니다. 기본값에서 약 96개 프레임이면 되는 16 MB 페이로드가 16 KB로 재정의하면 8,000개 안팎의 프레임을 필요로 하게 되어, Boomi가 해당 커넥션으로 보내는 모든 대용량 메시지에 순수한 오버헤드가 더해집니다.
Boomi 뒤에서 멈춘 RabbitMQ 큐는 어떻게 복구하나요?
먼저 브로커 문제가 아니라 컨슈머 측 정체인지 확인하십시오. 명시적으로 거부되는 메시지 없이 ack되지 않은 메시지 수만 늘고 있다면, 대개 컨슈머가 작업을 가져가 놓고 끝내지 못한 것입니다. 다운스트림 타임아웃이나 멈춘 호출이 원인인 경우가 많습니다. 멈춘 커넥션을 닫아 강제로 재연결하게 하면 처리 중인 것처럼 보이던 유령 메시지가 풀려나고 백로그가 소진되며, 메시지 내구성에는 손댈 필요가 없습니다.
Boomi는 RabbitMQ에 로드 밸런서를 통해 연결해야 하나요, 노드 IP로 직접 연결해야 하나요?
로드 밸런싱된 VIP를 통해 연결해야 합니다. Boomi가 RabbitMQ 노드 하나의 IP를 직접 가리키면, 그 노드에 장애가 날 때 통합도 함께 중단됩니다. F5(또는 동급 장비) VIP를 클러스터 앞단에 두면 RabbitMQ가 실제로 가동 중인 노드들로 라우팅하고 부하를 분산할 수 있으며, Boomi 설정을 바꾸지 않고도 RabbitMQ 블루/그린 업그레이드 같은 작업이 가능해집니다.
Boomi 리스너에서 prefetch 튜닝과 single active consumer는 어떻게 다른가요?
prefetch는 컨슈머가 한 번에 보유할 수 있는 미확인 전달 메시지 수를 제어합니다. RabbitMQ 공식 가이드는 최적의 처리량 구간을 100~300으로 제시하며, prefetch를 1로 두면 모든 처리가 직렬화되어 처리량이 떨어집니다. single active consumer(x-single-active-consumer)는 순서 보장 처리라는 다른 문제를 해결합니다. 큐 하나에서 정확히 하나의 컨슈머만 활성 상태로 유지하고 자동으로 페일오버하므로, prefetch를 1로 낮춰 처리 속도가 기어가듯 느려지는 일 없이 순서를 보장합니다.
Boomi는 ETL 도구인가요?
주된 용도는 아닙니다. Boomi는 데이터 매핑과 변환 기능을 포함한 iPaaS(integration platform as a service)이지만, 핵심 역할은 Atom/molecule 런타임을 통해 애플리케이션, API, 데이터 소스를 연결하는 것입니다. 전용 ETL 도구라기보다는 통합 및 데이터 관리 플랫폼에 가깝습니다.
Talk to an engineer
Need a hand with Boomi?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
가이드, 비교, 리서치


