概要
階層型ストレージは、クローズしたログセグメントをオブジェクトストレージへ移し、直近の範囲だけをローカルディスクに残します。これにより、保持期間をプロビジョニングしたNVMeの容量から切り離せます。AceMQは、読み取りパターンから見て導入が妥当かどうかを評価し、実測した挙動に基づいて構成とサイジングを設計します。
課題
数か月から数年にわたる保持要件を抱えるチームは、すべてのブローカーでローカルディスクを過剰にプロビジョニングするか、保持期間を短縮してリプレイできなくなるかのどちらかを迫られます。階層型ストレージはこれを解決しますが、それはローカルのキャッシュ範囲がコンシューマーの実際の読み取り方に合っている場合に限られます。トピックの先頭からリプレイするリビルドジョブはオブジェクトストレージから大量のデータを取得するため、それをモデル化していなかったチームは、リクエスト料金やエグレス料金に驚くことになります。
環境
ローカルNVMeとS3互換オブジェクトストレージを備えたKubernetesまたはクラウドインスタンス上のRedpandaクラスター。ストリーミングのコンシューマーと定期的な履歴リプレイの両方に対応。
アプローチ
AceMQは、コンシューマーの読み取りオフセットを時系列でプロファイリングし、コンシューマーが実際にどこまで遡って、どのくらいの頻度で読んでいるかを計測します。これがローカルキャッシュの範囲を決める根拠になります。そのうえで、トピックごとに保持期間をホットなローカル層とコールドなオブジェクト層に分割し、リモート読み取りのコストを最悪ケースではなく実際のリプレイパターンに基づいてモデル化します。
ソリューション
- コンシューマーの読み取りオフセットをプロファイリングし、実際に読まれる直近の範囲と、深い履歴リプレイの頻度を計測
- トピックごとに、ローカルのホットストレージとリモートのオブジェクトストレージの層に保持期間を分割
- 実測したホット範囲に、コンシューマーラグ発生時の余裕を加えて、ローカルディスクとキャッシュをサイジング
- オブジェクトストレージのリクエスト、エグレス、ライフサイクルのコストを、最悪ケースではなく実際のリプレイパターンに基づいてモデル化
- コールド層からリプレイするバッチジョブや分析ジョブについて、リモート読み取りの性能を検証
- オブジェクトストレージからのクラスター再構築を含め、リモート層を前提としたリカバリー手順とトピック再作成手順を検証
結果
お客様は、ローカルストレージを比例して増やすことなく保持期間を1桁延ばし、実測した読み取り挙動を反映したコストモデルを手にしています。リカバリー手順は、インシデントの最中ではなく、必要になる前に検証済みです。