概要
ある通信事業者は、Wikiページに記載された手動のフェイルオーバー手順でPostgreSQLを運用していましたが、その手順は実際の状況で一度も試されたことがありませんでした。復旧は、限られた数人のエンジニアに連絡がつくかどうかに左右されていました。AceMQは、これに代わる自動の高可用性アーキテクチャを設計し、検証しました。
課題
自動フェイルオーバーは、設定するのは簡単でも、正しく動かすのは困難です。設計では、ネットワーク分断時のスプリットブレインを防ぎ、どのトランザクションなら失ってもよく、どれは失ってはならないかを定義し、すべてのクライアントを再起動しなくてもアプリケーションのトラフィックが新しいプライマリに向かうようにする必要がありました。既存のレプリカは非同期で、許容できるデータ損失についてのポリシーもありませんでした。
環境
3つのアベイラビリティゾーンにまたがるKubernetes上のPostgreSQL。加入者のプロビジョニングと課金のサービスを支えています。
アプローチ
AceMQは、一律の方針を当てはめるのではなく、ワークロードごとのお客様の実際の目標復旧時点と目標復旧時間から出発しました。同期レプリケーションは、永続性の要件がそのレイテンシーのコストに見合う箇所にだけ適用し、引き渡し前に意図的な障害注入によって設計を実証しました。
ソリューション
- ワークロードごとに目標復旧時点と目標復旧時間を定義し、具体的なレプリケーションの設定に対応付け
- リーダー選出とスプリットブレイン防止のフェンシングのために、分散合意ストアを備えたPatroniを導入
- 永続性の要件がレイテンシーのコストに見合う箇所に限って、同期レプリケーションを選択的に適用
- 協調的な再起動なしにアプリケーションのクライアントがプライマリに追従するよう、接続のルーティングを設計
- プライマリの喪失、ゾーンの喪失、ネットワーク分断を対象に意図的な障害注入を行い、挙動を実証
- 自動フェイルオーバーの検証と、自動化を迂回する場合の手動介入の両方について、ランブックを作成
結果
フェイルオーバーは自動的かつ予測どおりに完了するようになり、観測された復旧時間は、手動の手順で必要だった数時間ではなく数十秒単位になりました。このオペレーターは、テストされていない文書ではなく、注入した障害による証拠を手にしています。