概要
Pulsarは、すべてのサブスクリプションが確認応答するまでメッセージを保持します。消費が止まったサブスクリプション、たとえば廃止済みのサービス、クラッシュしたコンシューマー、誰も削除しなかったテスト用クライアントは、ネームスペースのクォータに達するまでバックログを抱え続け、その時点でプロデューサーはスロットリングされるか拒否されます。AceMQはこの問題を素早く診断し、その根底にあるポリシーを修正します。
課題
報告される症状は、プロデューサー側には何の変更もないのに、プロデューサーが失敗し始めた、あるいは極端に遅くなったというものです。原因は、producer_request_holdまたはproducer_exceptionのアクションが設定されたバックログクォータのポリシーが上限に達したことです。どのサブスクリプションが原因かを突き止めるには、ネームスペース全体でサブスクリプションごとのバックログを調べる必要があります。また、保持期間とTTLのポリシーは相互に影響し合うため、プレッシャーの中で修正しようとすると誤りやすいのです。
環境
Kubernetesまたはベアメタル上のApache Pulsarクラスター。マルチテナントのネームスペース、複数のサブスクリプションタイプが混在し、一部の環境ではジオレプリケーションを使用。
アプローチ
AceMQのエンジニアは、ネームスペース全体でサブスクリプションごとのバックログと確認応答の位置を調べ、保持を解放させていないサブスクリプションを特定したうえで、それが処理の遅れた稼働中のコンシューマーなのか、放置されたものなのかを確認します。そのうえで、放置されたバックログはスキップまたは期限切れにし、稼働中のものであればコンシューマーのスループットに対処するなど、状況に応じた対応で負荷を解消します。その後、次に同じことが起きたときには目に見える形で失敗するよう、ポリシー一式を修正します。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニアによる24/7対応。ティア1での一次切り分けはありません
- サブスクリプションごとのバックログと確認応答の位置を調べ、保持をブロックしているサブスクリプションを特定
- producer_request_hold、producer_exception、consumer_backlog_evictionにわたるバックログクォータのポリシーとアクションのレビュー
- 放置されたサブスクリプションが際限なく溜まり続けるのではなく期限切れになるよう、保持期間とメッセージのTTLのポリシーを整合
- 稼働中のサブスクリプションについて、レシーバーキューのサイズ、ackタイムアウト、negative-ackによる再配信を含むコンシューマーのスループットを診断
- クォータが適用される前に放置されたサブスクリプションとバックログの増加を検知できるよう、サブスクリプションのライフサイクル管理とアラートを整備
結果
プロデューサーのスロットリングはインシデント対応の中で解消されました。その後のポリシーの見直しにより、放置されたサブスクリプションは自動的に期限切れになり、バックログが増えればクォータに達するずっと前にアラートが上がるようになりました。