概要
ある物流企業は、専任のプラットフォーム担当者がいないまま、クラウドとオンプレミスの拠点にまたがってELKを運用していました。インジェストの問題は、数日後にダッシュボードのデータ欠落として表面化するのが常でした。AceMQは、インジェスト経路全体を継続的にサポートしています。
課題
障害は複数のレイヤーに散らばっており、チェーン全体を担当する人がいませんでした。2つのサービスが同じフィールド名を異なる型で使うと、マッピングの競合によってドキュメントが黙って拒否されていました。データはただ届かず、拒否を検知するアラートも存在しませんでした。インデックステンプレートは環境ごとに差異が生じており、ステージングで検証したパイプラインが本番では異なる動きをしていました。古いホスト上のBeatsエージェントは、クラスターとの互換性がサポートされる範囲から外れたバージョンで動いていました。
環境
クラウドとオンプレミスの拠点にBeatsエージェントを配置したハイブリッドELK環境。複数のチームがパイプライン構成に関わっています。
アプローチ
障害が起きるのはパイプラインのあらゆる箇所であるため、サポートはパイプラインをエンドツーエンドで対象にしています。ドキュメントの拒否をアラートで通知して見えないデータ損失を可視化し、インデックステンプレートとパイプライン定義を環境間の一致を保ったままバージョン管理下に置き、Beatsのバージョン互換性を緊急対応ではなく計画的な作業として管理しています。
ソリューション
- インジェスト経路全体を対象に、プランに応じた15分からの対応目標と専任のシニアエンジニアによる24/7サポート
- ドキュメントの拒否とマッピング競合のアラートにより、黙って破棄されたデータを即座に検知
- 型の競合を防ぐフィールド命名規則に基づいて、インデックステンプレートとコンポーネントテンプレートを標準化
- パイプラインとテンプレートの定義をバージョン管理下に置き、ステージングと本番の一致を徹底
- Beatsエージェントのバージョンを棚卸しし、定期的なアップグレードでフリート全体をサポート範囲内に維持
- パイプラインの変更を本番適用前にレビューし、変更ごとにロールバック手順を定義
結果
ドキュメントの見えない拒否は、数日後にダッシュボードのデータ欠落として表面化するのではなく、数分以内に検知されるようになりました。テンプレートをバージョン管理に移行して以来、ステージングと本番の環境差異は事実上なくなっています。