概要
ある貨物追跡プラットフォームは、最大のコレクションをタイムスタンプ由来のキーでシャーディングしていました。すべての挿入が同じチャンク範囲に入るため、1つのシャードが書き込み負荷をすべて引き受け、他のシャードは遊んでいる状態でした。さらに、カーディナリティの低い値で分割のしきい値を超えて肥大化したチャンクがいくつもあり、バランサーが移動を拒むジャンボチャンクとして固定されていました。
課題
稼働中の数テラバイト規模のコレクションでシャードキーを作り直すのは、設定変更で済む話ではありません。今回の案件では、書き込みを分散させつつ、プラットフォームの主要なクエリパターンをscatter-gatherなしで処理でき、しかも長時間のメンテナンス時間を必要としない移行手順で導入できるキーを導き出す必要がありました。
環境
オンプレミスのハードウェアとクラウドのキャパシティにまたがり、出荷追跡とテレメトリーを支えるシャーディング構成のMongoDBクラスター。
アプローチ
AceMQは、実態とずれていた文書上のアクセスパターンではなく、スロークエリログとアプリケーションコードから実際のクエリの構成をプロファイリングしました。候補となるキーを、書き込みの分散、ターゲットクエリとブロードキャストクエリの比率、チャンクのカーディナリティの観点で評価し、変更を提案する前に本番環境のリストアコピーで検証しました。
ソリューション
- シャードごとの実際のクエリの形と書き込みの分布をプロファイリングし、文書上ではなく実際のアクセスパターンを確定
- 複合シャードキーとハッシュシャードキーの候補を、書き込みの分散、クエリのターゲティング、チャンクのカーディナリティの観点で評価
- 計画を確定する前に、本番環境と同規模のリストアコピーで推奨キーを検証
- 各段階にチェックポイントとロールバック地点を設けた、リシャーディングによる段階的な移行を設計
- 既存のジャンボチャンクを解消し、範囲を誤ったシャードに固定していたゾーン設定を修正
- プラットフォームの取り込みプロファイルに合わせたバランサーの実行時間帯とチャンクサイズの設定を文書化
結果
書き込みトラフィックは1つのシャードに集中することなくすべてのシャードに分散し、クラスターはシャードの追加によって水平にスケールできる状態を取り戻しました。新しいキーによって主要な読み取りパターンがターゲットクエリのまま処理されるようになり、ブロードキャストクエリも大幅に減りました。