概要
あるSaaSプロバイダーでは、テレメトリーの取り込み量が事業の成長を大きく上回るペースで増え続けており、その増加に責任を持つ担当者もいませんでした。AceMQは、データ量を発生元ごとに配賦し、どこでも使われていないものを削減し、削減した状態を維持できるよう収集レイヤーに制御を設ける支援を行いました。
課題
取り込み量の大部分は、少数の発生源が占めていました。デバッグレベルのまま転送されていた冗長なフレームワークのログ、集計にしか使われないのにリクエストごとに送信されていたカスタムイベント、そしてどのダッシュボードの表示よりもはるかに細かい間隔で収集されていたインフラストラクチャのメトリクスです。どのチームのテレメトリーが請求額のどれだけを占めているのか誰にも見えなかったため、コストの議論は進まず、取り込み量は四半期ごとに増え続けていました。
環境
Kubernetesのワークロードと複数の自律的なプロダクトチームを抱える、マルチアカウントのAWS環境全体で使われているNew Relic。
アプローチ
AceMQはベンダーのプラットフォームを運用するわけではありません。お客様のインフラストラクチャから何を送り出すかを決め、それを制御するお手伝いをします。この支援では、取り込み量をチームと発生源ごとに配賦し、実際にクエリされているものを確認したうえで、個々のアプリケーションが何を出力しても適用される収集レイヤーで、破棄ルールとサンプリングを実装しました。
ソリューション
- 取り込み量をチーム、サービス、テレメトリーの種類ごとに配賦し、コストを総額ではなく担当者のいるものに変更
- クエリとダッシュボードの利用状況と突き合わせ、取り込まれているのに一度も使われていないテレメトリーを特定
- 使われていないことが確認されたログとイベントの区分に対して、収集レイヤーで破棄ルールを適用
- 発生源でログの転送レベルを修正し、過去のインシデント対応時から有効なままだったデバッグ出力を削除
- インフラストラクチャのメトリクスの収集間隔を、ダッシュボードとアラートが実際に使う解像度に合わせて調整
- チームごとの取り込み予算と監視を設け、ログの変更が請求書ではなくアラートとして表面化するように整備
結果
どのダッシュボードやアラートもデータソースを失うことなく、取り込み量はおよそ40%減少しました。取り込み量がチームごとに配賦され予算化されたことで、増加は四半期ごとの想定外の出来事ではなく、目に見える判断になっています。