概要
Flinkのウォーターマークはすべての入力チャネルの最小値です。そのため、レコードを生成しなくなったパーティションが1つあるだけでウォーターマークが固定され、下流のすべてのイベント時間ウィンドウが発火しなくなります。例外もバックプレッシャーもなく、レコードも流れ続けているため、ジョブは正常に見えますが、その間に出力は人知れず止まっています。AceMQは、この種の問題と、関連するウォーターマークの不具合を診断します。
課題
わかりやすい健全性の指標がすべて緑であるため、チームはこの問題で何時間も無駄にしてしまいます。似ていて紛らわしい変種もあります。パーティション数が多すぎるKafkaのトピックで、トラフィックの少ないパーティションが夜間にアイドル状態になるケース、順序の乱れの許容幅を大きく取りすぎて、データが届いてからかなり経ってウィンドウが発火するケース、リバランスの後にパーティション単位のウォーターマーク戦略が適用されて順序の保証が失われるケース、そして遅延レコードがサイド出力なしに破棄され、データの欠落に誰も気づかないケースです。
環境
KafkaまたはKinesisから読み込み、イベント時間のセマンティクス、ウィンドウ集計、インターバル結合を使うApache Flinkのジョブ。
アプローチ
AceMQのエンジニアは、サブタスクごとの現在のウォーターマークのメトリクスをソースパーティションの活動状況と比較します。これにより、アイドル状態のソースによる停滞が数分で明らかになります。そこから、ウォーターマーク戦略をエンドツーエンドでレビューします。どこで割り当てられているか、アイドル検知が設定されているか、順序の乱れの許容幅が推測ではなく実測したイベントの遅延に合っているか、を確認します。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニアによる24/7対応。ティア1での一次切り分けはありません
- サブタスクごとのウォーターマークのメトリクスをソースパーティションの活動状況と比較し、停滞している入力を特定
- ウォーターマーク戦略にwithIdlenessを設定し、トラフィックの少ないパーティションの実際の無通信時間に合わせてサイジング
- 順序の乱れの許容幅を、デフォルト値ではなく実測したイベント時間の遅延から算出
- ウォーターマークの割り当てをソースコネクターに移し、リバランスや再パーティション化の後もパーティション単位の順序が維持されるように
- 遅延レコードのサイド出力と遅延のメトリクスを追加し、気づかれないデータ欠落を可視化
結果
停滞していたイベント時間のウィンドウは再び発火するようになり、ウォーターマーク戦略は、すべてのパーティションが常に稼働していることに依存しなくなりました。遅延レコードのサイド出力を追加すると、チームが把握していなかった別のデータ欠落が明らかになることもよくあります。