Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Zusätzliche Knoten hatten nichts gebracht

Europäischer Hosting-Anbieter

Ein Kafka-Cluster mit fünf Knoten, der 60.000 Kunden bedient, lief unter Last mit Producer-Timeouts. Die Ursache war die Topologie, nicht die Kapazität.

Überblick

Ein Hosting-Anbieter mit rund 2.000 Servern für 60.000 Kunden hatte sein Kafka-Deployment mit wachsender Nachfrage von einem auf fünf Knoten skaliert und sah trotzdem häufig Producer-Timeouts. Der naheliegende Reflex – mehr Kapazität – war bereits ausprobiert worden.

Herausforderung

Der Cluster lief mit Replication Factor vier auf fünf Knoten, Broker und Controller teilten sich dieselben Knoten. Dadurch trug der Controller Leader zusätzlich zu seinen Replikationsaufgaben ungewöhnlich viele aktive Verbindungen – und genau diese Konzentration von Verbindungen, nicht der reine Durchsatz, verursachte die Timeouts. Es folgten Neuwahlen und Verschiebungen von Topics, die wie Instabilität wirkten statt wie ein Symptom derselben Ursache.

Umgebung

Kafka-Cluster mit fünf Knoten, per Docker auf physischen Servern bereitgestellt, für eine große Shared-Hosting-Umgebung.

Vorgehen

AceMQ prüfte die Entscheidungen zu Replikation und Topologie gegen das, was der Workload tatsächlich brauchte, statt um das Symptom herum zu tunen. Die Empfehlungen wurden so gereiht, dass jede anhand von Stabilitätsmetriken des Clusters validiert werden konnte, bevor die nächste umgesetzt wurde.

Lösung

  1. Replication Factor von vier auf drei gesenkt – passend zu den Anforderungen an die Dauerhaftigkeit, ohne jede Partition überzureplizieren
  2. Broker- und Controller-Rollen getrennt, sodass die Controller-Arbeit nicht mehr mit dem Bedienen des Traffics konkurriert
  3. Mindestens drei Broker-Knoten beibehalten, um die Verfügbarkeitsgarantien während der Umstellung zu wahren
  4. Thread-Einstellungen optimiert, um die Reaktionsfähigkeit unter Verbindungslast zu verbessern
  5. Häufigkeit von Neuwahlen und Verschiebungen von Topics als Metriken festgelegt, die bei der Validierung jedes Schritts zu beobachten sind

Resultat

Die Producer-Timeouts wurden an ihrer Ursache behoben, statt durch zusätzliche Kapazität verdeckt zu werden, und das Team verfügt jetzt über klare Signale, um ein Wiederauftreten früh zu erkennen.

Technologien

Apache KafkaDockerLinux

Brauchen Sie Expertensupport für Apache Kafka?

Die Senior Engineers von AceMQ für Apache Kafka haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.