概要
NiFiは、多様なプロトコルが混在する異種システム間のデータ移動に非常に優れていますが、他のツールのほうが適しているスケジュール実行のバッチのオーケストレーションや重い変換処理にも、日常的に使われています。AceMQは、キャパシティ、コンプライアンス態勢、ワークロードとの適合性の観点から環境をアセスメントし、どのフローを移すべきかを示します。
課題
環境は、誰もレビューしきれない規模にまで膨らんでいきます。プロベナンスの保持期間が短すぎて、組織が答える義務のある監査上の問いに答えられない、TLSと認可の設定がノード間で一貫していない、リポジトリのサイジングに下流の障害に耐える余裕がない、といったことが起こり得ます。その一方で、実態は複雑な依存関係を持つスケジュール実行のバッチジョブであるフローがNiFi上に置かれており、依存関係のセマンティクスやリトライの挙動は、スケジューラーに比べて把握しにくくなっています。
環境
オンプレミスとクラウドにまたがるApache NiFiのクラスターとスタンドアロンインスタンス。フィールドシステム、基幹システム、取引先のシステムからデータを取り込む。
アプローチ
AceMQは、スループットとリポジトリの使用率をキャパシティと照らしてプロファイリングし、セキュリティとプロベナンスの設定を組織の実際の監査義務と照らしてレビューし、各フローをNiFiが適切な実行基盤かどうかで分類します。指摘事項は、一般的な評価ではなく、フローごとの具体的な推奨アクションとともに提示します。
ソリューション
- ノードのキャパシティに対するスループットとリポジトリ使用率のプロファイリングと、下流の障害シナリオを想定した余裕の計測
- 組織が答えられなければならない監査とデータリネージの問いに照らした、プロベナンスの保持期間とインデックスのレビュー
- ノード全体のTLS、認証、認可ポリシー、機密プロパティの暗号化を網羅したセキュリティ態勢のレビュー
- すべてのコネクションを対象とした、バックプレッシャー、優先順位付け、ロードバランシングの設定の監査
- NiFiよりもスケジューラーやストリーム処理エンジンのほうが適しているフローを特定する、ワークロードの適合性の分類
- NiFiとZooKeeperのスタック全体にわたる、バージョンの鮮度、アップグレードパス、CVEへの露出のレビュー
結果
お客様は、実測データに裏付けられたキャパシティとコンプライアンスの全体像に加え、フローごとに、そのまま残すもの、再構成するもの、より適切なツールへ移すものの推奨を手にします。最も緊急性の高い成果は、たいていセキュリティに関する指摘事項です。