概要
NiFiのキャンバスでは、フローを簡単に構築できる反面、誰も安全に変更できないフローも簡単にできてしまいます。エンドポイントのハードコード、プロセスグループによる境界の欠如、バージョン管理の不在が重なると、あらゆる変更が本番環境への変更になる連携基盤が出来上がります。AceMQは、キャンバスをバージョン管理されたパラメーター化コンポーネントに再構成し、実効性のあるプロモーション経路を整備します。
課題
長年運用されてきたNiFi環境では、数百のプロセッサーが1つのキャンバスに並び、認証情報やホスト名がプロセッサーのプロパティに直接入力され、環境の分離もなく、他に環境がないため変更は本番環境で直接行われている、ということがよくあります。キャンバスのどの部分がまだ稼働しているのか、誰も把握していません。本番環境の問題を別の環境で再現することはできず、キャンバス上でうっかりドラッグしただけで、データ取り込みの経路が止まることもあります。
環境
オンプレミスとクラウドにまたがり、フィールドデバイス、基幹システム、Kafka、オブジェクトストレージを連携させるApache NiFiクラスター。
アプローチ
AceMQは、キャンバスを論理的な連携経路に沿ったプロセスグループに分解し、環境固有の値をパラメーターコンテキストに切り出し、認証情報を本格的なシークレットストアと連携するパラメータープロバイダーに移します。フローはNiFi Registryでバージョン管理し、環境間のプロモーション経路を整え、使われていない経路を特定して廃止します。
ソリューション
- キャンバスを論理的な連携経路に沿ったプロセスグループに分解し、それぞれの担当者を明確化
- パラメーターコンテキストへの切り出しにより、エンドポイント、パス、チューニング値をプロセッサーのプロパティにハードコードしない構成に
- シークレットストアと連携するパラメータープロバイダーへ認証情報を移行し、フロー定義から平文の値を排除
- NiFi Registryによるバージョン管理と、開発・テスト・本番の各環境をまたぐプロモーション経路の定義
- プロベナンスデータから使われていないフローを特定し、トラフィックが流れなくなった経路を廃止
- 再利用可能なフローテンプレートと命名規則により、新しい連携が無秩序な拡張ではなく既定の構造に沿うように
結果
フローの変更は、本番環境で直接行うのではなく、プロモーション経路を通じて反映されるようになり、環境ごとの違いは別々のキャンバスではなくパラメーターの値として管理されるようになります。使われていない経路の廃止により、通常はキャンバス上のプロセッサーのかなりの割合が削減されます。