概要
HDFSは名前空間全体をNameNodeのメモリに保持するため、クラスターを制約するのはデータ量ではなくファイル数です。小さなファイルの氾濫でヒープが上限に近づくと、GCの停止時間が延び、やがてクライアントがタイムアウトし始め、フェイルオーバーが繰り返されるようになります。AceMQはNameNodeを安定させ、ファイルを生み出している発生源を取り除きます。
課題
マイクロバッチごとに1つのファイルを書き出すインジェストジョブ、過剰にパーティション分割されたHiveテーブル、何年もコンパクションされていないランディングゾーンが、1つひとつはごくわずかなデータしか持たないオブジェクトを数千万個も生み出します。ヒープは増え続け、フルGCの停止は数十秒にまで延び、スタンバイNameNodeのヘルスチェックが失敗し、実際には障害ではない停止の最中に自動フェイルオーバーが作動します。fsimageの読み込みとeditsのリプレイにかかる時間がどんどん長くなるため、再起動もリスクを伴うようになります。
環境
HA構成のNameNodeとJournalNodeを備え、Hive、Spark、インジェストのワークロードが混在するオンプレミスのHDFSクラスター。
アプローチ
AceMQは、名前空間をプロファイリングしてファイル数が集中している箇所を特定し、ヒープとGCのチューニング、フェイルオーバーのタイミング調整によって直ちに余裕を確保し、クラスターがフェイルオーバーを繰り返さないようにします。最も深刻なディレクトリについては、負荷を制御しながらコンパクションを実行し、ファイルを生み出しているジョブを修正してファイル数の増加を止めます。氾濫が構造的な問題である場合は、アーカイブやフォーマットの変更を適用します。
ソリューション
- fsimageの分析による名前空間のプロファイリングで、保存バイト数に対するファイル数の多さでディレクトリを順位付け
- フルGCの停止時間を短縮するよう、NameNodeのヒープサイズとGCの設定をチューニング
- 長時間のGC停止が不要なスタンバイの昇格を引き起こさないよう、フェイルオーバーとヘルスチェックのタイミングを調整
- Hiveテーブルの結合(concatenate)を含め、ファイル数が最も多いディレクトリを、負荷を制御しながら段階的にコンパクション
- ファイルを生み出しているジョブの修正:バッチ間隔、出力パーティション数、パーティション列の選択
- 保持は必要だが直接クエリされないコールドなデータセットに、HARによるアーカイブまたはフォーマットの移行を適用
結果
GCの停止時間は、フェイルオーバーが誤って作動しない範囲に戻り、NameNodeの再起動時間も制御できる水準に戻ります。同じ案件の中でファイルを生み出しているジョブも修正するため、名前空間が再び上限に向かって増えていくこともなくなります。