概要
ある分析サービス事業者では、夜間のETLロードが平常時のトラフィックをはるかに上回る量のoplogを生成していました。ロードの時間帯に遅れをとったセカンダリーはoplogの範囲から外れて完全な初期同期に陥り、それが翌晩のロードと競合していました。AceMQは、専任のシニアエンジニアと直接のエスカレーション経路を備えたレプリカセットのサポートを引き継ぎました。
課題
oplogのサイズは、クラスター作成時にディスク容量に対するデフォルトの割合で決められたまま、一度も見直されていませんでした。ドキュメント全体を書き換える一括更新によって、oplogの量は変更されたフィールドのサイズをはるかに超えて膨らみ、たった1台のセカンダリーの遅延が再同期の連鎖を引き起こして、営業日の大半にわたって健全な読み取り用レプリカが1台もない状態になることがありました。
環境
上流の臨床データウェアハウスから夜間にバッチでデータを取り込む、AWS上のマネージドMongoDBレプリカセット。
アプローチ
AceMQは、平均値に頼るのではなく、バッチの時間帯全体を通じて実際のoplogの生成量を計測し、観測された最悪の時間帯を余裕を持ってカバーできるサイズにoplogを設定しました。並行して、エンジニアがバッチの書き込み方法を見直してoplogの増幅を抑え、オンコール担当者が完全な再同期なしに遅延したセカンダリーを復旧できるようランブックを整備しました。
ソリューション
- バッチの時間帯全体でoplogの最大生成レートを計測し、平均ではなく最悪ケースに合わせてoplogをサイジング
- oplogをオンラインでリサイズし、負荷がかかった状態で得られるレプリケーションウィンドウを検証
- ETLにおけるドキュメント全体の書き換えを、対象フィールドだけの更新に変更し、oplogの増幅を削減
- セカンダリーがプライマリーの書き込みスループットに追従できるよう、バッチロードの並列度を時間的に分散
- 遅延したセカンダリー、ロールバックファイル、そして本当に再同期が必要になる場合を網羅した復旧ランブックを作成
- 24/7のエスカレーション経路と連動した、レプリケーションラグとoplogウィンドウのアラートを設定
結果
毎晩繰り返されていた再同期は解消され、レプリカセットは現在、時間単位ではなく日単位のレプリケーションウィンドウを保持しています。お客様のオンコールチームは、ほとんどの遅延をエスカレーションすることなくランブックに沿って解決しています。