導入事例の一覧に戻る

サポート官公庁・防衛

負荷がかかるとノードが抜け、再参加し、また抜ける。原因はたいていネットワークではなくGC

公共機関

ハートビートのタイムアウト、GC停止、ZooKeeperでのコーディネーションの失敗によって、負荷がかかるとNiFiクラスターからノードが切断される問題を解消します。

概要

ハートビートを取りこぼしたNiFiノードはクラスターコーディネーターによって切断されます。高負荷が続くと、この切断と再参加のサイクルが繰り返され、フローが事実上使えなくなることもあります。原因がネットワークにあることはまれです。AceMQは本当のきっかけを診断し、クラスターを安定させます。

課題

最も多い原因は、ガベージコレクションの長い停止です。FlowFileの属性量を考慮せずにヒープをサイジングしていたり、プロセッサーが大きな属性マップをメモリに保持していたりすると、ハートビートの間隔よりも長いフルGCの停止が発生します。ほかのきっかけとしては、I/Oの競合によるZooKeeperのセッションタイムアウトや、異なるフロー定義を持ったノードが再参加した後のフロー同期の失敗があります。3つともUI上では同じように見えますが、それぞれ修正方法が異なります。

環境

組み込みまたは外部のZooKeeperを使用し、オンプレミスまたはクラウドのVM上で大量のインジェストフローを実行するApache NiFiクラスター。

アプローチ

AceMQのエンジニアは、GCログ、ハートビートのタイミング、ZooKeeperのセッションイベントを切断のタイムスタンプと突き合わせ、3つのうちどれが本当の原因なのかを確定します。当面の安定化としてヒープ、GCコレクター、タイムアウト値を調整し、恒久的な対策として、そもそも停止を長引かせていたフロー設計や属性量に手を入れます。

ソリューション

  1. プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
  2. GCログ、ハートビート、ZooKeeperのセッションを切断イベントと突き合わせ、本当のきっかけを特定
  3. FlowFileの属性量と同時実行プロセッサー数に合わせた、ヒープのサイジングとガベージコレクターの設定
  4. 観測された停止時間に余裕を持たせて、クラスターのハートビート間隔とZooKeeperのセッションタイムアウトを調整
  5. 大きな属性をメモリに保持しているプロセッサーを洗い出すフローレビューを行い、ペイロードデータを属性ではなくコンテンツへ移行
  6. クラスターの再起動に失敗した後、フロー定義が食い違っている場合のフロー同期とノード再参加の手順を整備

結果

以前は切断を引き起こしていた負荷レベルでもノードの切断は起きなくなり、クラスターはインジェストのピークを再参加のサイクルなしで乗り切れるようになりました。属性量が原因だったケースでは、メモリの逼迫が十分に下がったため、ヒープを増やすどころか減らすことができました。

使用テクノロジー

Apache NiFiZooKeeperApache Kafka

Apache NiFiの専門家によるサポートが必要ですか?

AceMQのシニアApache NiFiエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。