개요
Hadoop 마이그레이션에 예산을 투입하기 전에, 경영진에게는 클러스터에 무엇이 있고, 무엇이 아직 중요하며, 탈출에 얼마나 걸릴지에 대한 근거 기반의 답이 필요합니다. AceMQ는 그 현황 목록과 작업량 추정을 포함한 순차적 계획을 만들어 드립니다.
과제
클러스터의 실제 상태는 문서화되어 있지 않습니다. 수천 개의 Hive 테이블 중 어느 것이 아직 읽히는지, 어떤 YARN 큐가 프로덕션 작업을 처리하고 어떤 큐가 버려진 실험인지, 어떤 작업이 규제 보고에 데이터를 공급해 중단될 수 없는지 아무도 말하지 못합니다. 이런 정보 없이 제시된 추정은 짐작일 뿐이며, 짐작 위에 세운 마이그레이션 프로그램은 일정이 늘어지기 마련입니다.
환경
상용 또는 커뮤니티 배포판 기반으로 HDFS, Hive, YARN을 운영하며 Spark, MapReduce, Hive 워크로드가 혼재된 온프레미스 Hadoop 클러스터.
접근 방식
AceMQ는 인터뷰에 의존하지 않고 대표적인 기간 동안 클러스터 자체의 감사 로그와 쿼리 로그를 계측합니다. 모든 테이블에 마지막 읽기 시각과 소비자 목록을, 모든 작업에 실행 시간, 리소스, 중요도 프로파일을 부여합니다. 운영 비용은 하드웨어, 기술 지원, 전력, 그리고 클러스터 유지보수에 소모되는 인력 시간까지 포함해 모델링하고, 목표 플랫폼과 비교합니다.
해결책
- HDFS 감사 로그와 HiveServer2 로그로 테이블 단위 접근을 프로파일링해 각 데이터 세트의 마지막 읽기 날짜와 소비자 목록 산출
- YARN 큐 전반의 작업을 실행 시간, 리소스 사용량, 비즈니스 중요도로 분류한 작업 목록
- 하드웨어 교체, 배포판 기술 지원, 전력 및 랙, 운영 인력 시간을 포함한 현행 비용 모델
- 배포판 구성 요소 스택 전반의 버전 및 CVE 노출 검토
- 의존성 깊이와 비즈니스 위험 순으로 정렬하고 단계별 작업량을 추정한 마이그레이션 웨이브 순서 수립
- 모든 데이터 세트와 작업에 대해 폐기 또는 이전 권고를 제시하고, 휴면 데이터는 이전 대신 아카이빙 대상으로 표시
성과
고객은 추정이 아닌 실측 접근 데이터로 뒷받침되는 근거 있는 마이그레이션 비즈니스 케이스와, 인력을 배정할 수 있는 웨이브 계획을 얻습니다. 휴면 데이터에 대한 발견만으로도 대개 가정했던 마이그레이션 범위의 상당 부분이 줄어듭니다.