概要
NiFiはフローファイルのコンテンツをディスク上のコンテンツリポジトリに保持し、バックプレッシャーのしきい値が設定されていないコネクションは際限なくキューイングを続けます。下流のプロセッサーが遅くなったり停止したりしても、上流のプロセッサーは生成を続け、リポジトリはボリュームが満杯になるまで膨らみます。そうなるとノードはプロベナンスも書き込めなくなり、事実上停止します。AceMQはノードを復旧し、本来設定されているべき上限を設定します。
課題
障害の流れは一貫しています。送信先のシステムが利用できなくなるか遅くなり、そのプロセッサーが受信キューを処理しなくなり、上流のプロセッサーは生成を続け、デフォルトのしきい値が一度も調整されていなかったためにコネクションのキューが際限なく膨らむのです。ディスクが満杯になり、プロベナンスリポジトリが書き込めなくなって、ノードは処理を完全に停止します。リポジトリのファイルを手作業で削除するとフローファイルの状態が壊れ、アーカイブされたコンテンツが状況をさらに複雑にするため、復旧には細心の注意が必要です。
環境
フローファイル、コンテンツ、プロベナンスのリポジトリを分けて構成し、フィールドシステムや基幹システムからデータを取り込む、オンプレミスまたはクラウドVM上のApache NiFiクラスター。
アプローチ
AceMQは、ファイルを手作業で削除するのではなく、コンテンツアーカイブの期限切れ処理と制御されたキューの排出によってディスク領域を安全に回復し、ノードとフローを復旧します。恒久的な対策としては、すべてのコネクションにバックプレッシャーのオブジェクト数とデータサイズのしきい値を設定し、必要に応じてロードバランシングと優先順位付けを追加し、各リポジトリを専用のボリュームに分離して、1つが満杯になっても他が止まらないようにします。
ソリューション
- リポジトリのファイルを手作業で削除せず、コンテンツアーカイブの期限切れ処理と制御されたキューの排出によってディスクを安全に回復
- すべてのコネクションに、下流のスループットに合わせたバックプレッシャーのオブジェクト数とデータサイズのしきい値を設定
- コンテンツリポジトリのアーカイブ設定、保持期間、使用率を、利用可能なボリュームに合わせてチューニング
- リポジトリを専用のボリュームに分離し、コンテンツの増加がプロベナンスやフローファイルの書き込みを止めないように
- 影響を受けたプロセッサーの障害時の経路を設計し、際限なくキューイングする代わりに、リトライ用または保留用のフローへルーティング
- ディスク使用量、キューの深さ、バックプレッシャーのアラートを設定し、ボリュームが満杯になるずっと前に警告を発するように
結果
影響を受けたノードはフローファイルを失うことなく復旧し、コネクション単位のバックプレッシャーにより、下流の障害が起きてもディスクが満杯になるのではなく、フローが減速するだけで済むようになりました。アラートは、まだ対処する余地があるうちにこの状態を検知します。