導入事例の一覧に戻る

是正対応業界横断

データベースをオフラインにすることなく、wraparoundのリスクを解消する

保険サービス事業者

最大規模のテーブルでautovacuumが追いつかず、トランザクションIDの周回(wraparound)が迫っていたデータベースに緊急対応しました。

概要

ある保険プラットフォームで、あと数千万トランザクションでwraparound保護が作動するという警告が出ました。作動すれば、クラスターは強制的に読み取り専用モードになるところでした。AceMQは緊急対応SLAのもとで対応を開始し、お客様のプラットフォームチームと連携して問題に取り組みました。

課題

最大規模のテーブルでは、autovacuumが繰り返しキャンセルされては最初からやり直しになっていたため、フリーズの境界がまったく進んでいませんでした。長時間実行される分析セッションと、idle in transactionのままのコネクションプールがxminの境界を固定していたため、vacuumが正常に完了してもタプルを回収できませんでした。さらに、はるかに小規模な環境から引き継いだコストベースの遅延設定によって、autovacuumは利用可能なI/Oのごく一部しか使えないように抑えられていました。

環境

オンプレミスのハードウェア上で、ストリーミングレプリカを持つPostgreSQLのプライマリー。保険契約管理と保険金請求のワークロードを支える。

アプローチ

最優先事項は、クラスターが自己防衛に入る前に、最も古いテーブルのフリーズ境界を前進させることでした。AceMQは、ワーカーの設定をチューニングしたうえで、それらのテーブルを対象に手動のVACUUM FREEZEを実行しました。同時に、autovacuumの完了を妨げていた要因を取り除き、インシデント後も修正が維持されるようにしました。

ソリューション

  1. フリーズ済みトランザクションIDの経過度合いでテーブルを順位付けし、最も深刻なものから順にVACUUM FREEZEを実行
  2. xminの境界を固定していたidle in transactionのセッションと、長時間保持されていたスナップショットを終了
  3. autovacuumのcost delay、cost limit、ワーカー数を、ハードウェアの実際のI/O能力に合わせて再チューニング
  4. クラスター全体の割合ベースの設定に頼らず、大規模テーブルにはテーブル単位のautovacuumのしきい値を設定
  5. アプリケーション層からの再発を防ぐため、statement timeoutとidle in transactionのセッションタイムアウトを追加
  6. テーブルの経過度合い、デッドタプル数、autovacuumのキャンセル発生を監視する仕組みを導入

結果

フリーズ境界はwraparoundのしきい値から十分に離れた位置まで前進し、クラスターが読み取り専用モードに入ることはありませんでした。現在は通常運用の中で大規模テーブルのautovacuumも完了するようになり、数か月にわたって蓄積していた肥大化も自然に回収され始めました。

使用テクノロジー

PostgreSQLLinuxPrometheuspgBackRest

PostgreSQLの本番環境で問題が発生していますか?

AceMQのシニアPostgreSQLエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。