개요
HDFS는 네임스페이스 전체를 NameNode 메모리에 보관하므로, 클러스터를 제약하는 것은 데이터 양이 아니라 파일 수입니다. 작은 파일이 퍼져 힙이 상한에 가까워지면 GC 일시 정지가 길어지다가 결국 클라이언트가 타임아웃되고 장애 조치가 반복됩니다. AceMQ는 NameNode를 안정시키고 파일을 만들어 내는 원인을 제거합니다.
과제
마이크로 배치마다 파일 하나씩을 쓰는 수집 작업, 과도하게 파티셔닝된 Hive 테이블, 수년간 압축되지 않은 랜딩 존이 개별적으로는 데이터가 거의 없는 객체를 수천만 개씩 만들어 냅니다. 힙은 계속 올라가고, full GC 일시 정지는 수십 초까지 길어지며, 스탠바이 NameNode의 헬스 체크가 실패하고, 실제로는 장애가 아니었던 일시 정지 중에 자동 장애 조치가 실행됩니다. fsimage를 로드하고 edits를 재생하는 시간이 점점 길어지기 때문에 재시작도 위험해집니다.
환경
HA NameNode와 JournalNode를 갖추고 Hive, Spark, 수집 워크로드가 혼재된 온프레미스 HDFS 클러스터.
접근 방식
AceMQ는 네임스페이스를 프로파일링해 파일 수가 집중된 곳을 찾은 뒤, 힙 및 GC 튜닝과 장애 조치 타이밍 조정으로 즉시 여유를 확보해 클러스터가 더 이상 오락가락하지 않게 합니다. 가장 심각한 디렉터리에는 통제된 부하에서 압축을 실행하고, 파일을 만들어 내는 작업을 수정해 파일 수 증가를 멈춥니다. 파일 확산이 구조적인 경우에는 아카이빙과 포맷 변경을 적용합니다.
해결책
- fsimage 분석으로 네임스페이스를 프로파일링해 저장 바이트 대비 파일 수 기준으로 디렉터리 순위 산출
- full GC 일시 정지 시간을 줄이도록 NameNode 힙 크기와 GC 구성 튜닝
- 긴 GC 일시 정지가 불필요한 스탠바이 승격을 일으키지 않도록 장애 조치 및 헬스 체크 타이밍 조정
- Hive 테이블 병합(concatenation)을 포함해, 파일 수가 가장 많은 디렉터리를 통제된 부하에서 단계적으로 압축
- 파일을 생성하는 작업 수정: 배치 주기, 출력 파티션 수, 파티션 컬럼 선택
- 보존은 해야 하지만 직접 조회하지 않는 콜드 데이터 세트에 HAR 아카이빙 또는 포맷 이전 적용
성과
GC 일시 정지가 더 이상 잘못된 장애 조치를 일으키지 않는 수준으로 돌아오고, NameNode 재시작 시간도 다시 통제 가능해집니다. 같은 프로젝트에서 파일을 생성하는 작업까지 수정하기 때문에, 네임스페이스가 다시 상한을 향해 커지지 않습니다.