Przegląd
Tiered storage przenosi zamknięte segmenty logu do magazynu obiektowego, zachowując najnowsze okno na dysku lokalnym, co uniezależnia retencję od rozmiaru przydzielonych dysków NVMe. AceMQ ocenia, czy wzorce odczytu to uzasadniają, i projektuje konfigurację oraz wymiarowanie na podstawie zmierzonego zachowania.
Wyzwanie
Zespoły, które muszą spełnić wymóg kilkumiesięcznej lub wieloletniej retencji, albo przewymiarowują dyski lokalne na każdym brokerze, albo skracają retencję i tracą możliwość ponownego odtwarzania danych (replay). Tiered storage rozwiązuje ten problem, ale tylko wtedy, gdy okno lokalnego cache'u odpowiada temu, jak konsumenci faktycznie czytają dane — zadanie odbudowy, które odtwarza topik od początku, pobiera duże wolumeny z magazynu obiektowego, a wynikające z tego koszty żądań i transferu wychodzącego zaskakują tych, którzy ich nie zamodelowali.
Środowisko
Klastry Redpanda na Kubernetes lub instancjach chmurowych z lokalnymi dyskami NVMe i magazynem obiektowym zgodnym z S3, obsługujące zarówno konsumentów strumieniowych, jak i okresowe odtwarzanie danych historycznych.
Podejście
AceMQ profiluje w czasie offsety odczytu konsumentów, aby zmierzyć, jak daleko wstecz konsumenci faktycznie sięgają i jak często, co wyznacza okno lokalnego cache'u. Następnie retencja jest dzielona dla każdego topiku na gorącą warstwę lokalną i zimną warstwę obiektową, a koszt zdalnych odczytów jest modelowany na podstawie rzeczywistych wzorców odtwarzania, a nie najgorszego scenariusza.
Rozwiązanie
- Profilowanie offsetów odczytu konsumentów w celu zmierzenia rzeczywistego okna aktualności i częstotliwości głębokiego odtwarzania danych historycznych
- Podział retencji dla każdego topiku między lokalną gorącą pamięć masową a zdalne warstwy magazynu obiektowego
- Wymiarowanie dysku lokalnego i cache'u na podstawie zmierzonego gorącego okna z zapasem na zdarzenia opóźnienia konsumentów
- Modelowanie kosztów żądań, transferu wychodzącego i cyklu życia w magazynie obiektowym na podstawie rzeczywistych wzorców odtwarzania, a nie najgorszego scenariusza
- Weryfikacja wydajności zdalnych odczytów dla zadań wsadowych i analitycznych, które odtwarzają dane z zimnej warstwy
- Weryfikacja procedur odtwarzania i ponownego tworzenia topików względem warstwy zdalnej, w tym odbudowy klastra z magazynu obiektowego
Efekt
Klienci wydłużają retencję o rząd wielkości bez proporcjonalnego wzrostu pamięci lokalnej, a model kosztów odzwierciedla zmierzone zachowanie odczytów. Procedury odtwarzania są weryfikowane, zanim będą potrzebne, a nie w trakcie incydentu.