概要
ハートビートを取りこぼしたNiFiノードはクラスターコーディネーターによって切断されます。高負荷が続くと、この切断と再参加のサイクルが繰り返され、フローが事実上使えなくなることもあります。原因がネットワークにあることはまれです。AceMQは本当のきっかけを診断し、クラスターを安定させます。
課題
最も多い原因は、ガベージコレクションの長い停止です。FlowFileの属性量を考慮せずにヒープをサイジングしていたり、プロセッサーが大きな属性マップをメモリに保持していたりすると、ハートビートの間隔よりも長いフルGCの停止が発生します。ほかのきっかけとしては、I/Oの競合によるZooKeeperのセッションタイムアウトや、異なるフロー定義を持ったノードが再参加した後のフロー同期の失敗があります。3つともUI上では同じように見えますが、それぞれ修正方法が異なります。
環境
組み込みまたは外部のZooKeeperを使用し、オンプレミスまたはクラウドのVM上で大量のインジェストフローを実行するApache NiFiクラスター。
アプローチ
AceMQのエンジニアは、GCログ、ハートビートのタイミング、ZooKeeperのセッションイベントを切断のタイムスタンプと突き合わせ、3つのうちどれが本当の原因なのかを確定します。当面の安定化としてヒープ、GCコレクター、タイムアウト値を調整し、恒久的な対策として、そもそも停止を長引かせていたフロー設計や属性量に手を入れます。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
- GCログ、ハートビート、ZooKeeperのセッションを切断イベントと突き合わせ、本当のきっかけを特定
- FlowFileの属性量と同時実行プロセッサー数に合わせた、ヒープのサイジングとガベージコレクターの設定
- 観測された停止時間に余裕を持たせて、クラスターのハートビート間隔とZooKeeperのセッションタイムアウトを調整
- 大きな属性をメモリに保持しているプロセッサーを洗い出すフローレビューを行い、ペイロードデータを属性ではなくコンテンツへ移行
- クラスターの再起動に失敗した後、フロー定義が食い違っている場合のフロー同期とノード再参加の手順を整備
結果
以前は切断を引き起こしていた負荷レベルでもノードの切断は起きなくなり、クラスターはインジェストのピークを再参加のサイクルなしで乗り切れるようになりました。属性量が原因だったケースでは、メモリの逼迫が十分に下がったため、ヒープを増やすどころか減らすことができました。