概要
持続的なバックプレッシャーを受けているFlinkジョブは、パイプラインにバリアを時間内に通すことができず、チェックポイントが期限切れになります。期限切れになるたびに次の試行で書き込むべき状態が増え、やがてジョブは古いチェックポイントから再起動し、次の失敗が確実になるほどの量のデータをリプレイします。AceMQはこの悪循環を断ち切り、その根底にある状態の増大に対処します。
課題
目に見える症状は、毎週または毎晩のチェックポイントの失敗が、再起動のループへと悪化していくことです。その裏では、いくつかの要因が重なっています。キー付きの状態が増え続け、RocksDBのワーキングセットがマネージドメモリの予算に収まらなくなったオペレーター、遅いシンクの後ろで止まったアラインドバリア、そして状態が現在のサイズのごく一部だった頃に決められたチェックポイントの間隔とタイムアウトです。タイムアウトを引き上げるだけでは、障害が解消されるのではなく、発生のタイミングがずれるだけです。
環境
RocksDBの状態バックエンドを使い、S3またはHDFSにチェックポイントを保存し、Kafkaからデータを取り込むKubernetesまたはYARN上のApache Flink。
アプローチ
AceMQは、FlinkのUIとメトリクスから、チェックポイントの所要時間を同期、非同期、アラインメントの各フェーズに分解します。これにより、コストの原因が状態のサイズなのか、バリアのアラインメントなのか、リモートのファイルシステムなのかがわかります。バックプレッシャーは、その原因となっている特定のオペレーターやシンクまで追跡します。そのうえで、該当するフェーズを狙って改善します。アラインメントのコストにはアンアラインドチェックポイントとインクリメンタルチェックポイント、状態のコストにはRocksDBのメモリとコンパクションのチューニング、そして本来そこまで大きくなるべきでなかった状態には状態のTTLで対処します。
ソリューション
- チェックポイントの所要時間を同期、非同期、アラインメントの各フェーズに分解し、実際の制約を特定
- バリアの伝搬を止めている特定のオペレーターやシンクまで、バックプレッシャーを追跡
- 遅いオペレーターの後ろでのアラインメントが大半を占める箇所で、アンアラインドチェックポイントとバッファのデブロートを有効化
- インクリメンタルチェックポイントを導入し、RocksDBのマネージドメモリ、ブロックキャッシュ、書き込みバッファのサイズを現在の状態サイズに合わせて修正
- 際限なく蓄積するキー付きの状態に、状態のTTLとクリーンアップのポリシーを適用
- チェックポイントの間隔、タイムアウト、最小待機時間を実測した所要時間に合わせて再チューニングし、再起動戦略も調整してリプレイのループを防止
結果
繰り返し発生していたチェックポイントの失敗は解消され、チェックポイントの所要時間は、間隔に対して余裕のある安定した範囲に戻ります。1回のチェックポイントが遅れても次の失敗が確定することはなくなったため、ジョブが再起動のループに陥ることもなくなります。