概要
あるコマースプラットフォームでは、オブザーバビリティの請求額がトラフィックよりも速いペースで増えており、その主な原因は誰もレビューしていないカスタムメトリクスでした。AceMQは、データ量がどこから来ているのかを把握し、新しいサービスがリリースされても維持される制御を整える支援を行いました。
課題
カスタムメトリクスの課金は、タグの組み合わせの種類数で決まります。いくつかのチームが、デプロイの識別子、Pod名、顧客の識別子をタグとして付けていました。入れ替わりの激しいデプロイでPod名のタグを持つメトリクスが1つあるだけで、どのダッシュボードからも一度もクエリされない課金対象の時系列が膨大に生成されていました。ログの取り込みにも、形を変えて同じ問題がありました。冗長なフレームワークが出力するデバッグレベルのログが、インデックス化された量の大きな割合を占めていたにもかかわらず、一度も検索されていなかったのです。
環境
Kubernetesのワークロード、高いデプロイ頻度、複数のプロダクトチームを抱える、マルチアカウントのAWS環境全体で使われているDatadog。
アプローチ
私たちはベンダーのプラットフォームを運用するのではなく、お客様がそこへ送るものを制御するお手伝いをします。この支援では、発生元ごとにデータ量を定量化し、実際にクエリされているテレメトリーを確認したうえで、出力と収集のレイヤーに制御を実装しました。これにより、削減の効果が次のデプロイで知らないうちに元に戻ることはありません。
ソリューション
- カスタムメトリクスの量を個々のメトリクスとタグキーに配賦し、課金対象の時系列への寄与度で順位付け
- クエリの利用状況と突き合わせ、一度もクエリされていないメトリクスとタグを、削除しても安全なものとして特定
- タグのガバナンスを定義し、値が際限なく増える識別子はメトリクスのタグではなく、ログかトレースに含めるルールを確立
- 収集レイヤーでメトリクスとタグのフィルタリングを適用し、アプリケーションが何を出力してもルールが強制されるように整備
- ログのインデックスポリシーを分け、量が多く価値の低いログは検索用にインデックス化せずに保持
- トレースのサンプリング戦略を見直し、エラーや遅いトレースは完全な精度で保持しつつ、正常なリクエストはサンプリング
結果
ダッシュボードやアラートのカバー範囲を損なうことなく、課金対象のカスタムメトリクスの量はおよそ半分に減り、インデックス化されたログの量も同程度減少しました。フィルタリングが収集レイヤーにあるため、あるチームがカーディナリティの高いタグを追加しても、想定外の請求が発生することはなくなりました。