개요
연합 쿼리는 소스가 자기 몫의 작업을 처리할 수 있을 때는 잘 동작하지만, 그렇지 못할 때는 제대로 동작하지 않습니다. AceMQ는 후보 소스 시스템, 그 시스템들이 받게 될 쿼리 패턴, 그리고 그 앞단의 보안 모델을 진단해, 페더레이션이 어디에서 버티고 어디에서 버티지 못할지 보고합니다.
과제
페더레이션 제안서는 흔히 모든 소스에 똑같이 접근할 수 있다고 가정합니다. 실제로는 운영 데이터베이스가 분석용 스캔 부하를 견디지 못하거나, 메인프레임 인접 소스에 쓸 만한 커넥터가 없거나, Kerberos가 적용된 Hive 클러스터에 보안팀이 승인하지 않은 신원 전파가 필요하거나, 네트워크 구간 사이에 경로 자체가 없을 수도 있습니다. 플랫폼 라이선스를 구매한 뒤에 이런 사실을 알게 되면 큰 비용이 듭니다.
환경
관계형 데이터베이스, Hive 또는 오브젝트 스토리지 기반 레이크, 웨어하우스 시스템이 서로 다른 보안 도메인에 놓인 온프레미스·클라우드 혼합 환경.
접근 방식
AceMQ는 후보 소스별로 커넥터 성숙도, 푸시다운 기능, 분석 부하 허용도를 프로파일링한 뒤, 의도한 쿼리 패턴을 각 소스에 매핑합니다. 신원 전파와 네트워크 분리는 배포를 가장 자주 가로막는 제약이므로, 성능과 함께 보안 및 네트워크 실현 가능성도 평가합니다. 결과물은 소스별 판정과 순서가 정해진 도입 계획입니다.
해결책
- 의도한 쿼리 패턴에 비추어 소스별 커넥터 성숙도와 푸시다운 기능 검토
- 트랜잭션 워크로드에 영향 없이는 분석용 스캔을 감당할 수 없는 운영 소스의 부하 허용도 분석
- Kerberos, LDAP, OAuth, 파일 기반 접근 제어를 포괄하는 신원 전파 및 권한 부여 설계
- 코디네이터, 워커, 각 소스 도메인 간 네트워크 경로 및 분리 구조 검토
- 동시성, 예상 스필, 워커 메모리 요건을 바탕으로 한 클러스터 용량 산정 모델
- 연합 쿼리에 바로 적합한 소스와 먼저 레이크로 복제해야 할 소스를 구분한 도입 순서
성과
고객사는 연합 쿼리에 바로 쓸 수 있는 소스와 먼저 복제나 개선이 필요한 소스를 명확히 구분하고, 보안 심의 위원회의 검토도 통과할 수 있는 용량 및 보안 설계를 확보합니다.