Powrót do wszystkich studiów przypadków

Ocena środowiskaOprogramowanie / platformy cyfrowe

Koniec z wymiarowaniem lokalnych dysków NVMe pod dane czytane raz na kwartał

Dostawca platformy dla urządzeń podłączonych do sieci

Projekt tiered storage dla długiej retencji, dzięki któremu dane historyczne trafiają do magazynu obiektowego, a lokalny dysk przestaje decydować o tym, jak długo można je przechowywać.

Przegląd

Tiered storage przenosi zamknięte segmenty logu do magazynu obiektowego, zachowując najnowsze okno na dysku lokalnym, co uniezależnia retencję od rozmiaru przydzielonych dysków NVMe. AceMQ ocenia, czy wzorce odczytu to uzasadniają, i projektuje konfigurację oraz wymiarowanie na podstawie zmierzonego zachowania.

Wyzwanie

Zespoły, które muszą spełnić wymóg kilkumiesięcznej lub wieloletniej retencji, albo przewymiarowują dyski lokalne na każdym brokerze, albo skracają retencję i tracą możliwość ponownego odtwarzania danych (replay). Tiered storage rozwiązuje ten problem, ale tylko wtedy, gdy okno lokalnego cache'u odpowiada temu, jak konsumenci faktycznie czytają dane — zadanie odbudowy, które odtwarza topik od początku, pobiera duże wolumeny z magazynu obiektowego, a wynikające z tego koszty żądań i transferu wychodzącego zaskakują tych, którzy ich nie zamodelowali.

Środowisko

Klastry Redpanda na Kubernetes lub instancjach chmurowych z lokalnymi dyskami NVMe i magazynem obiektowym zgodnym z S3, obsługujące zarówno konsumentów strumieniowych, jak i okresowe odtwarzanie danych historycznych.

Podejście

AceMQ profiluje w czasie offsety odczytu konsumentów, aby zmierzyć, jak daleko wstecz konsumenci faktycznie sięgają i jak często, co wyznacza okno lokalnego cache'u. Następnie retencja jest dzielona dla każdego topiku na gorącą warstwę lokalną i zimną warstwę obiektową, a koszt zdalnych odczytów jest modelowany na podstawie rzeczywistych wzorców odtwarzania, a nie najgorszego scenariusza.

Rozwiązanie

  1. Profilowanie offsetów odczytu konsumentów w celu zmierzenia rzeczywistego okna aktualności i częstotliwości głębokiego odtwarzania danych historycznych
  2. Podział retencji dla każdego topiku między lokalną gorącą pamięć masową a zdalne warstwy magazynu obiektowego
  3. Wymiarowanie dysku lokalnego i cache'u na podstawie zmierzonego gorącego okna z zapasem na zdarzenia opóźnienia konsumentów
  4. Modelowanie kosztów żądań, transferu wychodzącego i cyklu życia w magazynie obiektowym na podstawie rzeczywistych wzorców odtwarzania, a nie najgorszego scenariusza
  5. Weryfikacja wydajności zdalnych odczytów dla zadań wsadowych i analitycznych, które odtwarzają dane z zimnej warstwy
  6. Weryfikacja procedur odtwarzania i ponownego tworzenia topików względem warstwy zdalnej, w tym odbudowy klastra z magazynu obiektowego

Efekt

Klienci wydłużają retencję o rząd wielkości bez proporcjonalnego wzrostu pamięci lokalnej, a model kosztów odzwierciedla zmierzone zachowanie odczytów. Procedury odtwarzania są weryfikowane, zanim będą potrzebne, a nie w trakcie incydentu.

Technologie

RedpandaApache KafkaKubernetesApache Spark

Czas na przegląd Health Check Redpanda?

Starsi inżynierowie Redpanda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.