概要
あるエネルギー事業者では、明確な原因がないまま、サーバー群全体で断続的にログが欠落していました。欠落をLogstashまでさかのぼると、利用可能なCPUの大半を消費している少数のフィルターパターンにたどり着きました。
課題
いくつかのgrokパターンは先頭のワイルドカードと入れ子になった省略可能なグループで書かれており、想定した形式に一致しないログ行に対して破滅的なバックトラッキングを引き起こしていました。形式の崩れた1行だけで、ワーカースレッドが非常に長い時間占有されることもありました。ワーカーがふさがると永続キューが満杯になり、LogstashがBeatsの入力にバックプレッシャーをかけ、エージェントはログの送信を止めてしまいます。最終的にキューが掃けるとエージェントはレジストリから再開しますが、その間にローテーションされたファイルはすでに失われていました。
環境
大規模なサーバー群にFilebeatのエージェントを配置し、Logstashの層でパースとエンリッチメントを行う、オンプレミスのELK Stack。
アプローチ
コードを目で見て最適化するのではなく、フィルターパイプラインをプロファイリングして、実際にどこで時間が費やされているかを突き止めました。問題のあるパターンを特定した後は、アンカー付きの正規表現で書き直し、形式が固定されている箇所はdissectに置き換えました。そのうえで、不正な1行がサーバー群全体を止めるのではなく、1件のイベントの劣化で済むよう、パイプラインの耐障害性を高めました。
ソリューション
- パイプラインをフィルター単位でプロファイリングし、不釣り合いにCPU時間を消費している特定のパターンを特定
- 破滅的なバックトラッキングを起こすgrokパターンをアンカー付きで書き直し、ログ形式が固定されている箇所はdissectに置き換え
- パースできない行がワーカーをブロックせず、タグを付けて通過するよう、タイムアウトとtag-on-failureの動作を設定
- 永続キューのサイズとワーカー数を、デフォルト値ではなく測定したスループットに基づいてチューニング
- バックプレッシャーによる停止でローテーション済みのファイルが失われないよう、Beatsのレジストリとファイルローテーションの設定を調整
- ログの欠落が起きる前にバックプレッシャーの兆候を把握できるよう、キューの深さとフィルターの処理時間の監視を追加
結果
問題のあるパターンを取り除いたことで、ログの欠落は完全になくなり、同じハードウェアのままパイプラインのスループットは数倍に向上しました。現在は、キューの深さのアラートによって、エージェントが停止するよりはるか前に負荷の高まりを把握できます。