概要
数百ギガバイトのキー付きステートを保持するFlinkジョブには、小さなジョブにはない運用上の制約があります。再起動には相応の時間がかかり、並列度を変えるにはセーブポイントの再配分が必要になり、キーの選び方を誤ると一部のTaskManagerにステートが集中します。AceMQは、ジョブが成長してもこうした制約を管理可能な範囲に保てるよう、ステートのレイヤーを設計します。
課題
大規模ステートのジョブは、いつの間にかデプロイできなくなっていきます。セーブポイントの取得に時間がかかるため、通常のデプロイにもメンテナンス時間が必要になり、デプロイがまとめて行われるようになって、1回ごとのリスクが大きくなります。最大並列度がデフォルトのままだったため、ステートを丸ごと再構築しない限り、一定の上限を超えて再スケーリングできません。キーに偏りがあるためキーグループの分布が不均一で、2台のTaskManagerが処理の大半を担っていました。ローカルディスクは、現在のステートではなく初期のステートに合わせてサイジングされていました。
環境
Kubernetes上のApache Flink。RocksDBのステートバックエンド、大規模なキー付きステート、オブジェクトストレージ上のチェックポイントまたはセーブポイントを使用しています。
アプローチ
AceMQは、キーグループとTaskManagerごとにステートのサイズと分布をプロファイリングし、再起動時間の許容範囲、想定される並列度の範囲、アップグレードの頻度といった運用上の要件を軸に設計します。最大並列度とキーグループ数は現在の規模ではなくジョブの想定稼働期間に合わせて設定し、リカバリーの手順は推測ではなく実際にテストします。
ソリューション
- オペレーターとTaskManagerごとにステートのサイズとキーグループの分布をプロファイリングし、パーティションの偏りを明らかに
- 最大並列度とキーグループのサイズを、立ち上げ時の規模ではなく、ジョブの想定されるスケーリングの範囲に合わせて設定
- マネージドメモリ、ブロックキャッシュ、書き込みバッファ、コンパクション方式、カラムファミリーの構成を含むRocksDBの設定
- RocksDBのワーキングセットとチェックポイントのステージングに向けた、ローカルストレージのサイジングとディスククラスの選定
- 計測に基づく再起動時間の許容範囲を定めた、セーブポイント、保持チェックポイント、ローカルリカバリーの戦略
- ステートスキーマの進化の手順を含め、リハーサルで検証した再スケーリングとアップグレードのランブック
結果
再起動と再スケーリングにかかる時間が予測可能で一定の範囲に収まるようになり、デプロイにメンテナンス時間は不要になりました。ステートがTaskManager間で均等に分散されたことで、スループットを制限していたホットノードの現象も解消されています。