Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Dokładanie węzłów nie pomogło

Europejski dostawca hostingu

Pięciowęzłowy klaster Kafka obsługujący 60 000 klientów generował pod obciążeniem timeouty producentów. Przyczyną była topologia, a nie pojemność.

Przegląd

Dostawca hostingu, który utrzymuje około 2000 serwerów dla 60 000 klientów, wraz ze wzrostem zapotrzebowania rozbudował wdrożenie Kafki z jednego do pięciu węzłów, a mimo to wciąż obserwował częste timeouty producentów. Odruchowe rozwiązanie — dołożyć pojemności — zostało już wypróbowane.

Wyzwanie

Klaster działał ze współczynnikiem replikacji cztery na pięciu węzłach, a brokery i kontrolery były umieszczone razem. W efekcie lider kontrolerów, oprócz obowiązków replikacyjnych, obsługiwał nietypowo dużą liczbę aktywnych połączeń — i to właśnie koncentracja połączeń, a nie sama przepustowość, powodowała timeouty. Następowały kolejne ponowne wybory i przesunięcia topików, co wyglądało na niestabilność, a nie na objaw tej samej przyczyny.

Środowisko

Pięciowęzłowy klaster Kafka wdrożony za pomocą Dockera na serwerach fizycznych, obsługujący duże środowisko hostingu współdzielonego.

Podejście

AceMQ przeanalizowało decyzje dotyczące replikacji i topologii pod kątem tego, czego obciążenie faktycznie wymagało, zamiast stroić system wokół objawu. Rekomendacje uporządkowano tak, aby każdą z nich można było zweryfikować na metrykach stabilności klastra przed wprowadzeniem kolejnej.

Rozwiązanie

  1. Obniżenie współczynnika replikacji z czterech do trzech, zgodnie z wymogami trwałości i bez nadmiernej replikacji każdej partycji
  2. Rozdzielenie ról brokera i kontrolera, aby praca kontrolera nie konkurowała już z obsługą ruchu
  3. Zachowanie co najmniej trzech węzłów brokerów, aby utrzymać gwarancje dostępności w trakcie zmiany
  4. Dostrojenie ustawień wątków w celu poprawy responsywności przy obciążeniu połączeniami
  5. Ustalenie częstotliwości ponownych wyborów i przesunięć topików jako metryk do obserwacji przy weryfikacji każdego kroku

Efekt

Timeouty producentów usunięto u źródła, zamiast maskować je dodatkową pojemnością, a zespół zyskał jasny zestaw sygnałów pozwalających wcześnie wykryć ewentualny nawrót problemu.

Technologie

Apache KafkaDockerLinux

Potrzebują Państwo eksperckiego wsparcia Apache Kafka?

Starsi inżynierowie Apache Kafka w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.