Retour à tous les cas d'usage

RemédiationJeux vidéo / divertissement

Quand la latence de production au p99 s'envole, regardez d'abord la répartition du leadership

Plateforme de jeux en ligne

Résolution de pics de latence en production et en consommation, attribués à un déséquilibre du leadership Raft, à la saturation des disques et à la répartition des partitions entre brokers.

Présentation

Dans Redpanda, chaque partition a son propre groupe Raft : la latence dépend donc fortement de la répartition du leadership des partitions. Quand les leaders se concentrent sur une partie des brokers, ces nœuds saturent pendant que le reste du cluster est inactif, et la latence de queue augmente bien avant que la latence moyenne ne montre quoi que ce soit. AceMQ diagnostique et rééquilibre.

Défi

Les pics de latence apparaissent après un redémarrage progressif, un remplacement de nœud ou la croissance naturelle du nombre de partitions. Le leadership se retrouve inégalement réparti, si bien que quelques brokers supportent une charge d'écriture disproportionnée. En arrière-plan, la classe de stockage peut ne pas offrir le débit d'écriture soutenu que le cluster supposait, les limites CPU Kubernetes peuvent brider les threads du reactor, ou le nombre de partitions d'un topic peut être trop faible pour répartir la charge, quel que soit le leadership. Le symptôme est le même dans tous les cas.

Environnement

Clusters Redpanda sur Kubernetes ou sur instances cloud, avec stockage NVMe local ou stockage réseau, au service de producteurs sensibles à la latence.

Approche

AceMQ corrèle le nombre de leaders par broker, la latence d'écriture disque et les métriques de throttling CPU avec les percentiles de latence, pour identifier la couche réellement saturée. Le leadership est d'abord rééquilibré et l'affectation des partitions corrigée ; la classe de stockage et les limites de ressources sont ensuite traitées là où le matériel est réellement le facteur limitant.

Solution

  1. Analyse du nombre de leaders Raft par broker et de la répartition des partitions, corrélée avec les percentiles de latence de production
  2. Rééquilibrage du leadership et réaffectation des partitions pour répartir uniformément la charge d'écriture sur le cluster
  3. Validation de la latence d'écriture disque et du débit soutenu au regard de la classe de stockage effectivement provisionnée
  4. Revue des limites CPU Kubernetes et des threads du reactor pour éliminer le throttling des threads de shard seastar
  5. Revue du nombre de partitions des topics dont le parallélisme est trop faible pour leur débit, indépendamment du placement des leaders
  6. Réglage du batching, du linger et des acquittements côté producteurs en fonction de l'exigence de durabilité plutôt que des valeurs par défaut

Résultat obtenu

La latence de queue revient dans la plage attendue et y reste lors des redémarrages progressifs, car le rééquilibrage du leadership est appliqué comme une pratique d'exploitation et non comme une correction ponctuelle. Là où le stockage était le véritable facteur limitant, la recommandation de dimensionnement s'appuie sur un débit mesuré.

Technologies

RedpandaKubernetesApache Kafka

Confronté à un incident de production Redpanda ?

Les ingénieurs Redpanda seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.