BlogKafka

Bilan de santé Kafka : ce que couvre un vrai audit

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 6 min

Bilan de santé Kafka : ce que couvre un vrai audit
Sur cette page

La plupart des clusters Kafka paraissent sains sur un tableau de bord, jusqu'au moment où ils ne le sont plus.

Ce n'est pas une défaillance du monitoring. Le monitoring rend compte du présent. Un bilan de santé porte sur les conditions que vous n'avez pas encore rencontrées (le broker qui n'est pas encore tombé, le rééquilibrage qui n'a pas encore fait effet domino, le pic de trafic qui n'est pas encore arrivé) et sur la capacité de la conception du cluster à y résister.

Si vous préférez que nous réalisions cette revue pour vous plutôt que de la lire, découvrez notre service de bilan de santé Kafka.

Conception des topics et des partitions

C'est le premier point à examiner, car c'est le plus difficile à changer ensuite et le plus souvent mal conçu.

  • Des nombres de partitions choisis quand la charge était différente. Trop peu, et le parallélisme des consommateurs est plafonné, quel que soit le nombre d'instances ajoutées. Trop, et vous le payez en surcoût de métadonnées, en durée des rebalancings et en temps de récupération après la défaillance d'un broker.
  • La distribution des clés. La clé de partitionnement répartit-elle vraiment la charge, ou une partition porte-t-elle une part disproportionnée parce que la clé est déséquilibrée ? Les partitions chaudes ressemblent à un problème de performances Kafka, mais ce sont des problèmes de conception.
  • La prolifération des topics. Les parcs qui ont grandi au fil de l'eau accumulent des topics que personne ne possède, avec des paramètres que personne n'a choisis, conservés pour des raisons dont personne ne se souvient.

Réplication et durabilité

L'écart à rechercher ici se situe entre ce que le métier croit en matière de perte de données et ce que la configuration garantit réellement.

  • Le facteur de réplication et min.insync.replicas, ensemble, déterminent combien de défaillances de brokers vous pouvez subir en conservant intactes les écritures acquittées. Un facteur de réplication de trois avec un min.insync.replicas de un n'offre pas ce que la plupart des gens imaginent.
  • Les paramètres acks des producteurs doivent être cohérents. Une configuration de topic durable avec des producteurs en acks=1 est une incohérence courante et discrète.
  • La prise en compte des racks ou des zones de disponibilité. Trois réplicas qui ont tous atterri dans le même domaine de défaillance ne sont qu'un seul réplica déguisé.
  • L'unclean leader election. Est-elle activée, et quelqu'un a-t-il fait ce choix délibérément ?

Comportement des consommateurs et capacité

  • La configuration des groupes de consommateurs est l'endroit où des incidents surmontables se transforment en pannes. Des timeouts de session, des intervalles de heartbeat et des intervalles maximaux de poll qui conviennent en charge normale peuvent garantir une tempête de rebalancing dès que le traitement ralentit. Les mécanismes sont détaillés dans pourquoi les groupes de consommateurs Kafka se rééquilibrent.
  • L'évolution du lag dans le temps, et non le lag à l'instant présent. Un consommateur qui résorbe lentement son lag vous apprend quelque chose sur votre marge que ne montrera pas un tableau de bord des valeurs actuelles. Consultez diagnostiquer le consumer lag.
  • La rétention au regard de la croissance des disques. Des paramètres de rétention confrontés aux taux de croissance réels, avec une date à laquelle les disques seront pleins.
  • La marge des brokers et des contrôleurs, y compris la capacité du cluster à survivre à la perte d'un broker en pic de charge, et pas en charge moyenne.
  • La situation en matière de versions et de mises à niveau, en particulier pour ceux qui sont encore sur ZooKeeper. Consultez KRaft est-il prêt pour la production.

À quoi ressemble un bon livrable

Une liste priorisée, pas un inventaire.

  • À corriger maintenant : les constats pour lesquels la défaillance d'un seul broker, un redémarrage de routine ou un pic de trafic normal entraîne une perte de données ou une panne.
  • À corriger avant la prochaine étape de croissance : les choix de conception qui tiennent aujourd'hui mais ne tiendront pas au prochain palier de capacité.
  • À laisser en l'état : ce qui est correct, dit explicitement. Cette partie compte : un rapport qui signale tout ne permet pas à l'équipe de décider par quoi commencer, et une centaine d'observations indifférenciées signifie que le travail de hiérarchisation a été escamoté.

AceMQ réalise des bilans de santé Kafka sur des parcs de production et fournit ensuite un support Kafka continu. Si vous voulez savoir ce qui va casser avant que cela n'arrive, contactez-nous.

PrioritéCritèreExemple
À corriger maintenantLa défaillance d'un seul broker, un redémarrage de routine ou un pic normal entraîne une perte ou une panneFacteur de réplication de 3 avec min.insync.replicas à 1
À corriger avant la prochaine étape de croissanceTient aujourd'hui, ne tiendra pas au prochain palier de capacitéNombre de partitions qui plafonne le parallélisme des consommateurs
À laisser en l'étatRéellement correct, et dit explicitementParamètres adaptés à la charge

Si la question derrière cet article relève de l'architecture plutôt que d'un incident en cours (stratégie de partitionnement, dimensionnement, conception de la sécurité, migration), le conseil Kafka d'AceMQ y affecte un ingénieur senior attitré.

Cet article est la sixième étape sur six du guide d'achat du support Kafka, qui mène la décision de ce que couvre un contrat jusqu'aux questions à trancher avant de signer.

FAQ

Qu'est-ce qu'un bilan de santé Kafka ?

Une revue structurée d'un cluster en fonctionnement au regard de son utilisation réelle (topics et partitions, réplication, comportement des consommateurs, capacité, supervision), qui produit une liste priorisée de ce qui cassera en premier.

En quoi est-ce différent de la supervision ?

La supervision rend compte du présent. Un bilan de santé évalue des conditions que vous n'avez pas encore rencontrées : défaillance d'un broker, rebalancing sous charge, pic de trafic.

Quels problèmes met-il généralement au jour ?

Des nombres de partitions dimensionnés pour une ancienne charge, des paramètres de durabilité qui ne correspondent pas à ce que suppose le métier, des paramètres de consommateurs qui garantissent des tempêtes de rebalancing, une rétention qui remplira les disques et une supervision aveugle au consumer lag.

Quand faut-il en réaliser un ?

Avant une hausse du trafic, autour d'une mise à niveau de version, après un incident surmonté, lorsque l'équipe d'origine est partie, ou périodiquement pour les clusters critiques.

Faut-il un accès à la production ?

De la visibilité plutôt qu'un accès. Des exports de configuration, l'état des groupes de consommateurs et l'historique des métriques, plus une séance avec vos équipes d'exploitation, suffisent généralement.

Que livrez-vous à la fin ?

Des constats classés en trois catégories (à corriger maintenant, à corriger avant la prochaine étape de croissance, à laisser en l'état), avec pour chacun la condition de défaillance et la correction.

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Parler à un ingénieur

Besoin d’un coup de main sur Kafka ?

Des ingénieurs seniors qui l’exploitent en production. Demandez un devis ou une consultation gratuite, sans argumentaire commercial.

Consultation gratuite

Un regard expert sur votre cluster Kafka

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire