Przegląd
Dostawca hostingu, który utrzymuje około 2000 serwerów dla 60 000 klientów, wraz ze wzrostem zapotrzebowania rozbudował wdrożenie Kafki z jednego do pięciu węzłów, a mimo to wciąż obserwował częste timeouty producentów. Odruchowe rozwiązanie — dołożyć pojemności — zostało już wypróbowane.
Wyzwanie
Klaster działał ze współczynnikiem replikacji cztery na pięciu węzłach, a brokery i kontrolery były umieszczone razem. W efekcie lider kontrolerów, oprócz obowiązków replikacyjnych, obsługiwał nietypowo dużą liczbę aktywnych połączeń — i to właśnie koncentracja połączeń, a nie sama przepustowość, powodowała timeouty. Następowały kolejne ponowne wybory i przesunięcia topików, co wyglądało na niestabilność, a nie na objaw tej samej przyczyny.
Środowisko
Pięciowęzłowy klaster Kafka wdrożony za pomocą Dockera na serwerach fizycznych, obsługujący duże środowisko hostingu współdzielonego.
Podejście
AceMQ przeanalizowało decyzje dotyczące replikacji i topologii pod kątem tego, czego obciążenie faktycznie wymagało, zamiast stroić system wokół objawu. Rekomendacje uporządkowano tak, aby każdą z nich można było zweryfikować na metrykach stabilności klastra przed wprowadzeniem kolejnej.
Rozwiązanie
- Obniżenie współczynnika replikacji z czterech do trzech, zgodnie z wymogami trwałości i bez nadmiernej replikacji każdej partycji
- Rozdzielenie ról brokera i kontrolera, aby praca kontrolera nie konkurowała już z obsługą ruchu
- Zachowanie co najmniej trzech węzłów brokerów, aby utrzymać gwarancje dostępności w trakcie zmiany
- Dostrojenie ustawień wątków w celu poprawy responsywności przy obciążeniu połączeniami
- Ustalenie częstotliwości ponownych wyborów i przesunięć topików jako metryk do obserwacji przy weryfikacji każdego kroku
Efekt
Timeouty producentów usunięto u źródła, zamiast maskować je dodatkową pojemnością, a zespół zyskał jasny zestaw sygnałów pozwalających wcześnie wykryć ewentualny nawrót problemu.