概要
ある物流企業では、短時間で終了するワークロードのメトリクスとトレースが断続的に欠落していました。ベンダーのサポートはプラットフォーム側に問題がないことを確認しており、調べるべきはお客様自身のエージェントとインフラのレイヤーということになりました。AceMQが対応するのは、まさにそのレイヤーです。
課題
短時間で終了するバッチのポッドは、エージェントがバッファをフラッシュする前に終了していたため、最後のメトリクスと実行の最後の数秒間のトレースが届いていませんでした。それとは別に、ネットワークポリシーの変更によって、ピーク時間帯に送信トラフィックの一部が破棄されるようになっていましたが、エージェントのリトライの挙動がそれを覆い隠し、体系的な問題ではなく断続的な問題に見せていました。2つの問題が1つの不安定な症状に見えていたことが、数か月にわたって解決されなかった理由です。
環境
ポッドの入れ替わりが激しいKubernetes上に、DaemonSetとしてデプロイされたDatadog Agent。送信トラフィックはポリシーが適用された共有のネットワーク経路を経由。
アプローチ
AceMQはベンダーのプラットフォームを運用しているわけではありません。私たちが対応するのは、お客様が所有し、ベンダーのサポートが調査しないレイヤーです。エージェント自身のテレメトリーを計装し、欠損が発生した時間帯をポッドのライフサイクルイベントや送信トラフィックのメトリクスと突き合わせ、重なり合っていた2つの原因を切り分けてから、それぞれを修正しました。
ソリューション
- エージェント内部のテレメトリーを有効にして収集し、フラッシュの失敗や破棄されたペイロードを直接可視化
- 欠損の時間帯をポッドの終了イベントと相関させ、短時間で終了するワークロードを独立した障害の種類として切り分け
- ポッド終了時の猶予期間とエージェントのフラッシュの挙動を調整し、バッチのワークロードが終了前に最後のデータを送信できるように
- 送信経路を計装し、エージェントのリトライが覆い隠していたピーク時間帯のパケット破棄を可視化
- ネットワークポリシーを修正し、エージェントのリトライとバックオフの設定をチューニングして、実際の破棄が沈黙ではなくエラーとして表面化するように
- エージェントが報告する破棄件数にアラートを追加し、今後のテレメトリーの欠損を後から気づくのではなく検知できるように
結果
短時間で終了するワークロードのテレメトリーの欠損は完全になくなり、送信ポリシーを修正した後はピーク時間帯の欠損も実質ゼロになりました。お客様は、実際のサービス停止と収集の失敗を区別できるようになりました。以前は当て推量でしかなかったことです。