概要
あるID認証サービス事業者は、リレーショナルデータベースと同じ発想でCassandraのテーブルをモデリングし、プライマリキーで対応できないクエリをセカンダリインデックスで補っていました。一部のパーティションはギガバイト単位にまで肥大化し、インデックスを使うクエリはリング内の全ノードにファンアウトしていました。AceMQはデータモデルの再設計を依頼されました。
課題
Cassandraでは、クエリパターンを軸にしたモデリングが報われ、エンティティを軸にしたモデリングは不利になります。再設計では、パーティションの増大に上限を設け、プラットフォームの主要なクエリを単一のレプリカセットで処理できるようにし、さらに段階的に導入できることが求められました。テーブルを一括で再構築するために書き込みを停止することはできなかったためです。
環境
ID検証と認証情報のライフサイクル管理サービスを支える、Kubernetes上のApache Cassandra。
アプローチ
AceMQは、アプリケーションが発行するすべてのクエリを洗い出し、それらを処理するために必要なテーブルを逆算して設計しました。ファンアウトを解消できる場合は非正規化を受け入れています。パーティションサイズは現在のデータ量ではなく数年分の増加を見込んで予測し、移行はデュアルライトで実行する設計としたため、切り替えに停止時間は発生しませんでした。
ソリューション
- 実際のアプリケーションのクエリパターンを洗い出し、そこから必要なテーブル設計を導出
- 時間とハッシュによるバケッティングを導入し、複数年の予測に対してパーティションの増大に上限を設定
- セカンダリインデックスクエリを用途別の非正規化テーブルに置き換え、クラスター全体へのファンアウトを解消
- メモリ内ソートなしで範囲スキャンとページネーションに対応できるよう、クラスタリングキーと順序を選定
- 書き込みを凍結せずに切り替えられる、デュアルライトとバックフィルによる移行パスを設計
- パーティションサイズと行数のガードレールを監視とあわせて設定し、今後の開発での劣化を検知
結果
クラスター全体にファンアウトするクエリはホットパスから排除され、最大級のパーティションも推奨上限から1桁以内の規模に収まりました。読み取りレイテンシーはパーティションサイズに左右されることなく、キー空間全体で予測可能になりました。