概要
WSO2の製品は、共有のレジストリと構成データベースに大きく依存しています。計画的な一斉再起動、APIの一括デプロイ、大規模なユーザーストアの同期など、書き込みが同時に発生すると、それらのテーブルでのロックの競合がデッドロックに至ることがあります。目に見える症状は、起動を完了しないノードです。
課題
計画メンテナンスでの再起動の後、ゲートウェイのノードがときどき起動を完了できなくなり、APIの一括デプロイも途中で止まるようになりました。データベースのログには、レジストリのテーブルでのデッドロックが記録されていました。コネクションプールはデータベースが受け付けるよう構成された数を大きく上回るサイズに設定されていたため、起動時のリトライの嵐が競合を和らげるどころか悪化させていました。
環境
PostgreSQL上のレジストリとユーザーストアのデータベースを共有する、オンプレミスのWSO2 API ManagerとIdentity Server。複数のノードにデプロイ。
アプローチ
AceMQは、ノードの起動シーケンスとデータベースのデッドロックのログを突き合わせ、競合している具体的なテーブルと、関係する操作を特定しました。そのうえで、ノードの起動を段階的にし、実際のデータベースの上限に合わせてプールのサイズを修正し、一括デプロイを並列のバーストではなく、制御された順次の処理に切り替えました。AceMQは、ティア1による一次切り分けのない、専任のシニアエンジニアによる24/7の体制を提供しています。
ソリューション
- 起動シーケンスとデータベースのデッドロックのログを突き合わせ、競合しているレジストリのテーブルを特定
- データベースの実際の最大接続数に合わせて、コネクションプールのサイズを適正化
- すべてのノードが同時にレジストリの状態を初期化しないよう、ノードの起動を段階化
- APIの一括デプロイの操作を、並列ではなく順次に実行するよう変更
- 競合が発生したときに処理が止まらずすぐに失敗するよう、データベース側のロックとステートメントのタイムアウトをチューニング
- 競合を再発させないメンテナンス時の再起動手順を文書化
結果
メンテナンスでの再起動は確実に完了し、APIの一括デプロイも途中で止まることなく終わるようになりました。データベースのログに、レジストリのテーブルでのデッドロックが記録されることもなくなりました。