概要
あるストリーミング事業者では、チームごとに数十ものMySQLインスタンスが増えていき、レプリケーション、バックアップ、設定に一貫した基準がありませんでした。どのデータベースを、どれくらいの時間で復旧できるのかを自信を持って答えられる人はいませんでした。AceMQは、その実態を明らかにするために起用されました。
課題
場当たり的な拡大の結果、設定のドリフトが大きく進んでいました。バイナリログの設定がばらばらのインスタンス、GTIDなしで構成されたレプリカ、そして成功を報告しているものの、生成されたファイルを誰も一度もリストアしたことのないバックアップジョブなどです。これを評価するには、報告内容を集めるだけでなく、それが正しいかを検証する必要がありました。
環境
複数のチームとアカウントの境界にまたがり、コンテンツカタログと利用権管理のサービスを支えるAWS上のMySQL環境。
アプローチ
AceMQは、すべてのインスタンスについて、想定されている設定ではなく実際の実行時の設定を棚卸しし、重要な部分を実際にテストしました。バックアップは実際にリストアして所要時間を計測し、フェイルオーバーの経路は、意味のある切り替え先に行き着くかどうかを追跡しました。
ソリューション
- サーバー自体から実行時の設定を取得し、インスタンスの完全な一覧を作成
- バイナリログ、GTIDモード、永続性の設定、文字セットにおける設定のドリフトを特定
- 既存のバックアップからの復元テストを時間を計測しながら実施し、実際の復旧時間を確定するとともに使えないバックアップを洗い出し
- レプリケーションのトポロジーとフェイルオーバーの経路を追跡し、実際には昇格できないレプリカを特定
- 単一障害点がないか、接続のルーティングとプロキシの設定をレビュー
- 標準設定のベースラインと、ドリフトしたインスタンスを基準に合わせるための優先順位付きの計画を提供
結果
同社は、バックアップジョブのステータスではなく実際のリストアに裏付けられた復旧時間を含む、正確なインスタンス一覧を手にしました。成功を報告していたバックアップのうちいくつかは復元できないことが判明し、実際に必要になる前に修正されました。