Powrót do wszystkich studiów przypadków

Wsparcie techniczneUsługi finansowe

Przepustowość spadła, gdy platforma się skalowała

Platforma transakcji bankowych

Po wprowadzeniu Kafki przepustowość spadła z 320 000 do około 45 000 transakcji na godzinę. Aby udowodnić, że może się skalować, platforma potrzebowała 80 000.

Przegląd

Platforma przetwarzania transakcji obsługująca klientów bankowych włączyła Kafkę i zobaczyła, jak przepustowość spada mniej więcej siedmiokrotnie. Dodawanie instancji usług nic nie zmieniało — wydajność pozostawała stała niezależnie od liczby działających instancji, co jest sygnaturą wąskiego gardła, a nie limitu pojemności. Termin walidacji oznaczał, że platforma musiała w ciągu tygodnia wykazać 80 000 transakcji na godzinę.

Wyzwanie

Stała wydajność przy rosnącej równoległości wskazywała na konfigurację, a nie na sprzęt. Wdrożenie korzystało z Kafki 4.0 z KRaft, co usunęło zależność od ZooKeeper, ale też zmieniło zakres parametrów strojenia w porównaniu z zaleceniami, które przyswoiła sobie większość zespołów. Odtwarzanie po failover musiało działać niezależnie od wprowadzanych zmian, ponieważ obciążenie miało charakter finansowy.

Środowisko

Kafka 4.0 w trybie KRaft jako fundament platformy przetwarzania transakcji dla klientów bankowych, z JMeter używanym do walidacji obciążeniowej.

Podejście

Prace skupiły się na ustaleniu, dlaczego dodatkowe instancje nie dawały żadnego zysku, a następnie na weryfikacji każdej zmiany względem powtarzalnego profilu obciążenia w JMeter, tak aby poprawa była zmierzona, a nie założona. Zachowanie przy failover traktowano jako ograniczenie dla strojenia, a nie kwestię drugorzędną.

Rozwiązanie

  1. Przygotowanie powtarzalnego profilu obciążenia w JMeter, aby każdą zmianę konfiguracji można było zmierzyć względem tej samej linii bazowej
  2. Zbadanie, dlaczego zwiększenie liczby instancji usług dawało stałą przepustowość, i wyizolowanie punktu serializacji
  3. Dostrojenie konfiguracji producentów i brokerów pod wzorzec transakcji, a nie pod przepustowość ogólnego przeznaczenia
  4. Weryfikacja odtwarzania po failover pod obciążeniem, aby odporności nie poświęcić na rzecz szybkości
  5. Przegląd konfiguracji specyficznej dla KRaft w odniesieniu do zaleceń pisanych dla wdrożeń z czasów ZooKeeper

Efekt

Platforma zyskała zmierzoną ścieżkę powrotu do docelowej przepustowości przy zachowanym odtwarzaniu po failover, a także profil testów obciążeniowych, który może ponownie uruchamiać przy przyszłych zmianach.

Technologie

Apache KafkaKRaftJMeter

Potrzebują Państwo eksperckiego wsparcia Apache Kafka?

Starsi inżynierowie Apache Kafka w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.