Powrót do wszystkich studiów przypadków

Ocena środowiskaEnergetyka / media

Sprawdzić, czy obciążenie naprawdę wymaga Flink, zanim powstanie zespół od Flink

Dostawca technologii dla inteligentnych sieci energetycznych

Ocena, czy planowane obciążenie strumieniowe powinno działać na Flink, i ile naprawdę będą kosztować wymagania dotyczące exactly-once, stanu i eksploatacji.

Przegląd

Flink to właściwa odpowiedź na stanowe przetwarzanie strumieniowe z semantyką czasu zdarzeń i gwarancjami exactly-once — i kosztowna odpowiedź na bezstanowe transformacje, z którymi poradziłby sobie prostszy konsument. AceMQ ocenia obciążenie pod kątem tego, czego Flink faktycznie wymaga w eksploatacji, i przedstawia rekomendację wraz z wymiarowaniem.

Wyzwanie

Projekty strumieniowe wycenia się na podstawie przepustowości, pomijając wymagania, które naprawdę generują koszt: czy semantyka exactly-once end-to-end jest rzeczywiście potrzebna i czy sinki ją obsługują, ile stanu kluczowanego wynika z logiki przy produkcyjnej kardynalności, jakie opóźnienia w czasie zdarzeń faktycznie generują systemy źródłowe oraz czy zespół jest w stanie obsługiwać checkpointy, savepointy i reskalowanie. To od tych decyzji zależy, czy platforma da się utrzymać.

Środowisko

Nowe lub rozbudowywane platformy strumieniowe na Kubernetes ze źródłami Kafka lub Redpanda oraz mieszanymi sinkami analitycznymi i operacyjnymi.

Podejście

AceMQ wychodzi od rzeczywistych wymagań przetwarzania — semantyki, kardynalności stanu, tolerancji na opóźnione zdarzenia i gwarancji dostarczenia — a nie od samej przepustowości. Tam, gdzie Flink pasuje, wymiarujemy klaster i warstwę stanu oraz definiujemy model eksploatacji. Tam, gdzie nie pasuje, mówimy to wprost i wskazujemy prostszy komponent, który się sprawdzi.

Rozwiązanie

  1. Klasyfikacja obciążeń oddzielająca stanowe przetwarzanie w czasie zdarzeń od bezstanowych transformacji, które nie potrzebują Flink
  2. Modelowanie kardynalności stanu przy produkcyjnym wolumenie kluczy wraz z wynikającym z niego zapotrzebowaniem na pamięć i dysk
  3. Przegląd semantyki dostarczania obejmujący odtwarzanie źródeł, idempotentność sinków oraz to, czy istnieje obsługa transakcyjnych sinków wymagana dla exactly-once
  4. Pomiar opóźnień w czasie zdarzeń na rzeczywistych danych źródłowych w celu ustalenia parametrów watermarków i okien
  5. Wymiarowanie klastra: liczba task managerów, sloty, bufory sieciowe i przepustowość magazynu checkpointów
  6. Zdefiniowanie modelu eksploatacji: tryb wdrożenia, polityka savepointów, proces aktualizacji i alerty, których zespół potrzebuje do utrzymania platformy

Efekt

Klienci otrzymują dla każdego obciążenia uzasadnioną decyzję — budować na Flink czy zrezygnować — wraz z wymiarowaniem odzwierciedlającym rzeczywiste wymagania dotyczące stanu i semantyki. Część obciążeń zwykle przechodzi na prostszego konsumenta, co zmniejsza zakres eksploatacji, który zespół musi obsadzić.

Technologie

Apache FlinkApache KafkaKubernetesRedpanda

Czas na przegląd Health Check Apache Flink?

Starsi inżynierowie Apache Flink w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.