概要
Kongの502エラーは、ゲートウェイがアップストリームのターゲットから有効なレスポンスを得られなかったことを意味します。難しいのは、アップストリーム自体は正常であることが多い点です。ゲートウェイがもう存在しないアドレスと通信しているか、ヘルスチェックが見当違いのものを確認しているせいで正常なターゲットを除外してしまっているのです。
課題
わずかながら一定の割合のリクエストが502を返していましたが、アップストリームのアプリケーションログには対応するエントリーがありませんでした。これは、原因がアプリケーションではなく、ゲートウェイがターゲットをどう認識しているかにあることを示していました。アクティブヘルスチェックは、認証なしのプローブに401を返すパスに対して設定されていたため、Kongのサーキットブレーカーが正常なターゲットを除外していました。それとは別に、KongのDNSキャッシュが、解決済みのアップストリームのIPをTTLを過ぎても保持していたため、再スケジュール済みのPodに接続し続けていました。
環境
コンテナ化されたマイクロサービスの前段に置かれた、Kubernetes上のKongゲートウェイ。アップストリームはサービスのDNS名で定義され、Podは頻繁に再スケジュールされる環境。
アプローチ
AceMQは、ゲートウェイのアクセスログとKong自身のエラーログを、アップストリームのPodのライフサイクルイベントと突き合わせ、502の集中発生と再スケジュールのタイミングを照合しました。これにより、DNSのキャッシュの挙動が原因の1つであり、ヘルスチェックのエンドポイントが認証を必要としていたことがもう1つの原因であることを特定しました。両方を修正し、意図的にローリング再起動を行って検証しました。
ソリューション
- KongのエラーログとアップストリームのPodのライフサイクルイベントを相関分析し、502の集中発生と再スケジュールの時刻を照合
- アクティブヘルスチェックの対象を、実際のヘルス状態を返す認証不要のliveness用エンドポイントに変更
- ゲートウェイが古いアップストリームのアドレスに接続し続けないよう、DNS解決とTTLの扱いをチューニング
- 一時的なエラーで正常なターゲットが除外されないよう、パッシブヘルスチェックのしきい値を調整
- すべてのアップストリームのサービスを強制的にローリング再起動し、修正を検証
結果
断続的な502エラーは解消され、アップストリームのサービスをローリングデプロイしても、ゲートウェイでエラーが急増することはなくなりました。