개요
Hadoop 운영 전문 인력은 수년째 시장에서 빠져나가고 있지만, 클러스터는 여전히 프로덕션에서 규제 대상 워크로드를 처리하고 있습니다. AceMQ는 마이그레이션이 끝날 때까지 계속 운영되어야 하는 클러스터를 위해 전담 시니어 엔지니어를 24/7 제공합니다.
과제
흔히 발생하는 프로덕션 장애로는 capacity와 maximum-capacity 설정이 한 번도 조정되지 않아 큐 하나가 클러스터 전체를 차지하는 경우, ApplicationMaster 리소스 비율이 소진되어 애플리케이션이 ACCEPTED 상태에 머무는 경우, 로컬 디렉터리가 가득 차 NodeManager가 unhealthy로 표시되는 경우, 실제 원인은 힙 바깥의 JVM 오버헤드인데 물리 메모리 초과로 컨테이너가 종료되는 경우 등이 있습니다. 이런 문제는 겪어 본 사람이라면 몇 분 만에 진단하지만, 처음 보는 사람에게는 며칠이 걸리기도 합니다.
환경
Capacity Scheduler 또는 Fair Scheduler로 YARN을 운영하며 Spark, Hive, MapReduce 워크로드가 혼재된 온프레미스 Hadoop 클러스터.
접근 방식
AceMQ 엔지니어는 ResourceManager 및 NodeManager 로그, 스케줄러 큐 지표, 컨테이너 종료 코드를 분석해 스케줄링 문제인지, 리소스 문제인지, 노드 문제인지를 구분합니다. 먼저 시스템을 안정시킨 뒤, 재발을 막는 큐 구성 또는 메모리 산정 변경을 적용합니다.
해결책
- 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 없이 전담 시니어 엔지니어가 24/7 대응
- 큐 기아 상태와 무제한 큐 증가를 해결하기 위한 capacity, maximum-capacity, user-limit-factor 검토
- ApplicationMaster 리소스 비율 소진을 포함해 ACCEPTED 상태에 머무는 애플리케이션 진단
- 로컬 및 로그 디렉터리 소진, 디스크 장애 임계값을 포함한 NodeManager 상태 진단
- 실제로는 JVM 오버헤드가 원인인 종료를 막기 위해 힙, 오버헤드, vmem 비율 전반에 걸친 컨테이너 메모리 산정
- 우선순위가 다른 혼합 워크로드가 클러스터를 공유해야 하는 경우의 선점(preemption) 및 노드 레이블 구성
성과
고객은 희소한 사내 Hadoop 전문 인력을 유지하지 않고도 마이그레이션 기간 내내 Hadoop 클러스터를 안정적으로 운영하며, 반복되던 스케줄러 장애는 ResourceManager 재시작이 아니라 구성 수준에서 해결됩니다.