Présentation
Dans Redpanda, chaque partition a son propre groupe Raft : la latence dépend donc fortement de la répartition du leadership des partitions. Quand les leaders se concentrent sur une partie des brokers, ces nœuds saturent pendant que le reste du cluster est inactif, et la latence de queue augmente bien avant que la latence moyenne ne montre quoi que ce soit. AceMQ diagnostique et rééquilibre.
Défi
Les pics de latence apparaissent après un redémarrage progressif, un remplacement de nœud ou la croissance naturelle du nombre de partitions. Le leadership se retrouve inégalement réparti, si bien que quelques brokers supportent une charge d'écriture disproportionnée. En arrière-plan, la classe de stockage peut ne pas offrir le débit d'écriture soutenu que le cluster supposait, les limites CPU Kubernetes peuvent brider les threads du reactor, ou le nombre de partitions d'un topic peut être trop faible pour répartir la charge, quel que soit le leadership. Le symptôme est le même dans tous les cas.
Environnement
Clusters Redpanda sur Kubernetes ou sur instances cloud, avec stockage NVMe local ou stockage réseau, au service de producteurs sensibles à la latence.
Approche
AceMQ corrèle le nombre de leaders par broker, la latence d'écriture disque et les métriques de throttling CPU avec les percentiles de latence, pour identifier la couche réellement saturée. Le leadership est d'abord rééquilibré et l'affectation des partitions corrigée ; la classe de stockage et les limites de ressources sont ensuite traitées là où le matériel est réellement le facteur limitant.
Solution
- Analyse du nombre de leaders Raft par broker et de la répartition des partitions, corrélée avec les percentiles de latence de production
- Rééquilibrage du leadership et réaffectation des partitions pour répartir uniformément la charge d'écriture sur le cluster
- Validation de la latence d'écriture disque et du débit soutenu au regard de la classe de stockage effectivement provisionnée
- Revue des limites CPU Kubernetes et des threads du reactor pour éliminer le throttling des threads de shard seastar
- Revue du nombre de partitions des topics dont le parallélisme est trop faible pour leur débit, indépendamment du placement des leaders
- Réglage du batching, du linger et des acquittements côté producteurs en fonction de l'exigence de durabilité plutôt que des valeurs par défaut
Résultat obtenu
La latence de queue revient dans la plage attendue et y reste lors des redémarrages progressifs, car le rééquilibrage du leadership est appliqué comme une pratique d'exploitation et non comme une correction ponctuelle. Là où le stockage était le véritable facteur limitant, la recommandation de dimensionnement s'appuie sur un débit mesuré.