Przegląd
Flink to właściwa odpowiedź na stanowe przetwarzanie strumieniowe z semantyką czasu zdarzeń i gwarancjami exactly-once — i kosztowna odpowiedź na bezstanowe transformacje, z którymi poradziłby sobie prostszy konsument. AceMQ ocenia obciążenie pod kątem tego, czego Flink faktycznie wymaga w eksploatacji, i przedstawia rekomendację wraz z wymiarowaniem.
Wyzwanie
Projekty strumieniowe wycenia się na podstawie przepustowości, pomijając wymagania, które naprawdę generują koszt: czy semantyka exactly-once end-to-end jest rzeczywiście potrzebna i czy sinki ją obsługują, ile stanu kluczowanego wynika z logiki przy produkcyjnej kardynalności, jakie opóźnienia w czasie zdarzeń faktycznie generują systemy źródłowe oraz czy zespół jest w stanie obsługiwać checkpointy, savepointy i reskalowanie. To od tych decyzji zależy, czy platforma da się utrzymać.
Środowisko
Nowe lub rozbudowywane platformy strumieniowe na Kubernetes ze źródłami Kafka lub Redpanda oraz mieszanymi sinkami analitycznymi i operacyjnymi.
Podejście
AceMQ wychodzi od rzeczywistych wymagań przetwarzania — semantyki, kardynalności stanu, tolerancji na opóźnione zdarzenia i gwarancji dostarczenia — a nie od samej przepustowości. Tam, gdzie Flink pasuje, wymiarujemy klaster i warstwę stanu oraz definiujemy model eksploatacji. Tam, gdzie nie pasuje, mówimy to wprost i wskazujemy prostszy komponent, który się sprawdzi.
Rozwiązanie
- Klasyfikacja obciążeń oddzielająca stanowe przetwarzanie w czasie zdarzeń od bezstanowych transformacji, które nie potrzebują Flink
- Modelowanie kardynalności stanu przy produkcyjnym wolumenie kluczy wraz z wynikającym z niego zapotrzebowaniem na pamięć i dysk
- Przegląd semantyki dostarczania obejmujący odtwarzanie źródeł, idempotentność sinków oraz to, czy istnieje obsługa transakcyjnych sinków wymagana dla exactly-once
- Pomiar opóźnień w czasie zdarzeń na rzeczywistych danych źródłowych w celu ustalenia parametrów watermarków i okien
- Wymiarowanie klastra: liczba task managerów, sloty, bufory sieciowe i przepustowość magazynu checkpointów
- Zdefiniowanie modelu eksploatacji: tryb wdrożenia, polityka savepointów, proces aktualizacji i alerty, których zespół potrzebuje do utrzymania platformy
Efekt
Klienci otrzymują dla każdego obciążenia uzasadnioną decyzję — budować na Flink czy zrezygnować — wraz z wymiarowaniem odzwierciedlającym rzeczywiste wymagania dotyczące stanu i semantyki. Część obciążeń zwykle przechodzi na prostszego konsumenta, co zmniejsza zakres eksploatacji, który zespół musi obsadzić.