概要
あるバンキングプラットフォームは、論理デコーディングを使って変更データキャプチャ(CDC)のパイプラインにデータを送っていました。下流のコンシューマーが停止するとレプリケーションスロットが進まなくなり、プライマリは停止以降のWALセグメントをすべて保持し続けました。ディスクが2度満杯になった後、AceMQが専任のシニアエンジニアと直接エスカレーションによるサポートを引き継ぎました。ティア1によるトリアージは挟みません。
課題
保持されたままのレプリケーションスロットは、クエリ負荷とは無関係な仕組みでPostgreSQLのプライマリを停止させうる、数少ない状態の1つです。お客様の監視はディスク使用量を見ていましたが、スロットの遅延は見ていなかったため、最初のシグナルは残り数分の余裕しかない段階でのディスクアラートでした。一時的に遅いだけのコンシューマーと本当に放置されたスロットを見分けるには、オンコール当番が持ち合わせていない判断力が必要でした。
環境
AWS上のPostgreSQL。論理レプリケーションでDebeziumとKafkaによる変更データキャプチャのパイプラインにデータを送っています。
アプローチ
AceMQは、ディスク使用量より先に見るべき主要シグナルとしてスロットの遅延を計測できるようにし、そのうえでスロットのライフサイクルに関するポリシーを定めました。何をきっかけに調査するか、何をきっかけにコンシューマーを再起動するか、どんな場合にスロットの削除が正当化されるか、です。コンシューマーが停止しても劣化するのはプライマリではなくパイプラインになるよう、ガードレールを設定しました。
ソリューション
- レプリケーションスロットの遅延とWALの保持サイズを監視に追加し、ディスク枯渇よりかなり前の段階にしきい値を設定
- max_slot_wal_keep_sizeを設定し、停止したコンシューマーがWALボリュームを埋めるのではなく、そのスロットが無効化されるように変更
- WALを独立した容量とアラートを持つ専用ボリュームに分離
- 調査、コンシューマーの再起動、安全なスロット削除を網羅したスロットのライフサイクルポリシーを文書化
- 不要な書き込み増幅を招いていたチェックポイントとWALのサイジング設定を見直し
- スロットとレプリケーションのインシデントについて、シニアPostgreSQLエンジニアへ直接つながる24/7のエスカレーションを確立
結果
WALボリュームのインシデントは完全になくなりました。コンシューマーの停止は、プライマリに影響しうる数時間前にパイプライン遅延のアラートとして表面化するようになり、日常的なケースはお客様のチームがエスカレーションせずに対応しています。