Guide · Kafka

Le guide de supervision et d'alerting Kafka

La plupart des tableaux de bord Kafka affichent tout et n'alertent sur rien d'utile. Le cluster est au vert, les consommateurs ont des heures de retard, et le premier à s'en apercevoir est l'équipe en aval. Ce guide distingue la poignée de métriques qui signalent un vrai problème parmi les centaines qu'expose Kafka, et précise sur quoi chacune doit déclencher une alerte d'astreinte.

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 6 min · 7 sections

Sur cette page

La supervision de Kafka en un paragraphe

La supervision de Kafka en un paragraphe

Kafka publie ses métriques via JMX : la seule question de collecte est donc de savoir quel exporter vous branchez dessus. Côté brokers, quatre chiffres portent l'essentiel du signal : UnderReplicatedPartitions et UnderMinIsrPartitionCount indiquent que la réplication est dégradée et, dans le second cas, que les écritures en acks=all échouent déjà ; OfflinePartitionsCount supérieur à zéro signifie que des données sont indisponibles à l'instant même ; et la somme de ActiveControllerCount sur l'ensemble du cluster doit valoir exactement un. En dessous, les pourcentages d'inactivité des request handlers et des network processors vous disent si les brokers disposent de marge. Côté clients, le lag des consommateurs compte en tant que tendance et que délai de rattrapage, plutôt qu'en écart brut d'offsets, et le taux d'erreur des producteurs ainsi que la latence des requêtes montrent la dégradation du chemin d'acquittement avant qu'il ne tombe. Alertez sur les quatre conditions côté brokers, sur un lag qui augmente plus longtemps que ne dure un déploiement et sur les erreurs des producteurs ; mettez le reste en graphiques.

Collecte : JMX, et ce qu'il faut en faire

Toutes les métriques que Kafka tient sur les brokers, les producteurs et les consommateurs sont exposées via JMX. En pratique, cela veut dire exécuter le Prometheus JMX exporter comme agent Java sur chaque broker, et collecter les métriques clientes directement depuis les applications plutôt que de les déduire du broker. Le lag des consommateurs est l'exception qui mérite un exporter dédié, car la vue côté broker et la vue du consommateur divergent précisément dans les situations qui vous intéressent : un consommateur qui a cessé de faire des polls conserve des offsets commités dans __consumer_offsets, si bien que le groupe semble vivant vu de l'extérieur.

Santé de la réplication : les quatre chiffres des brokers

UnderReplicatedPartitions supérieur à zéro signifie qu'au moins un follower est sorti de l'ensemble des réplicas synchronisés (ISR) : le cluster continue de servir, mais vous avez perdu de la redondance. UnderMinIsrPartitionCount est plus grave, car une partition passée sous min.insync.replicas rejette toutes les requêtes de production en acks=all : les producteurs échouent alors que les brokers paraissent opérationnels. OfflinePartitionsCount supérieur à zéro signifie que des partitions n'ont plus de leader et sont indisponibles en lecture comme en écriture. Enfin, la somme de ActiveControllerCount sur le cluster doit être égale à un ; zéro signifie qu'il n'y a pas de contrôleur, deux signale un split-brain. Ces quatre-là constituent la liste des alertes qui réveillent quelqu'un.

Saturation : request handlers, threads réseau et disque

RequestHandlerAvgIdlePercent et NetworkProcessorAvgIdlePercent mesurent la marge des brokers. Des valeurs durablement inférieures à environ 30 % signifient que les pools de threads sont le goulot d'étranglement et que tout ce qui se trouve en aval ralentit, réplication comprise : c'est ainsi qu'un problème de saturation se transforme en problème de partitions sous-répliquées. Surveillez en parallèle les taux de contraction et d'expansion de l'ISR : un cluster dont l'ISR se contracte et s'étend à répétition manque généralement d'E/S ou de réseau, pas de brokers. Le remplissage des disques est l'autre grand classique, et c'est la rétention qui le gouverne.

Objectifs de réponse à partir de 15 minutes, selon le plan. Ingénieurs seniors attitrés.

Nous contacter

Lag des consommateurs : une tendance, pas un chiffre

Le lag est l'écart entre le log end offset d'une partition et l'offset commité par le groupe de consommateurs. Pris isolément, le chiffre absolu ne veut presque rien dire : un consommateur sain à fort débit peut avoir des milliers de messages de retard et les rattraper en quelques secondes. Ce qui compte, c'est de savoir si le lag augmente, et combien de temps il faudrait au groupe pour revenir à zéro à son rythme de consommation actuel. Alertez sur une croissance soutenue pendant une fenêtre plus longue qu'un déploiement normal, et sur un délai de rattrapage qui dépasse ce que le système en aval peut tolérer. Un seuil statique déclenche une alerte à chaque redémarrage progressif et apprend à tout le monde à l'ignorer.

Rééquilibrages : les compter, et trouver le déclencheur

Un rééquilibrage (rebalance) interrompt la consommation de tout le groupe pendant la réaffectation des partitions : sa fréquence est donc une métrique de disponibilité de la consommation. Suivez-la par groupe. Un groupe qui se rééquilibre à intervalles réguliers dépasse presque toujours max.poll.interval.ms, parce que le traitement d'un lot prend plus de temps que l'intervalle configuré, ou perd des membres sur des expirations de session. La correction porte sur le déclencheur plutôt que sur le délai d'expiration, même si l'affectation cooperative sticky et l'appartenance statique au groupe réduisent le coût de chaque rééquilibrage le temps de le trouver.

Côté producteur : taux d'erreur et chemin de latence

Un taux d'erreur des enregistrements côté producteur supérieur à zéro mérite toujours une alerte, car un producteur qui ne peut pas écrire perd des données, à moins que l'application ne gère correctement l'échec, ce que la plupart ne font pas. La latence des requêtes est l'indicateur avancé : elle augmente à mesure que le chemin d'acquittement se dégrade, bien avant l'apparition des timeouts. Un buffer-available-bytes qui tend vers zéro signifie que le client produit plus vite qu'il ne peut envoyer et qu'il va commencer à bloquer ou à abandonner des messages, selon la configuration. Ces trois métriques sont côté client : c'est pourquoi ne collecter que celles des brokers vous rend aveugle au mode de défaillance que les utilisateurs remarquent en premier.

La liste d'alertes qui vaut la peine

Alerte d'astreinte : partitions hors ligne supérieures à zéro, partitions sous le min ISR supérieures à zéro, nombre de contrôleurs actifs différent de un, taux d'erreur des producteurs supérieur à zéro, et lag des consommateurs en hausse au-delà d'une fenêtre de déploiement. Ticket, sans astreinte : partitions sous-répliquées qui se rétablissent en quelques minutes, inactivité des request handlers inférieure à 30 %, taux de rééquilibrage supérieur à la normale, disque rempli au-delà de 70 %. Tout le reste a sa place sur un tableau de bord consulté pendant un incident, pas dans une rotation d'astreinte. Le critère d'une bonne alerte : la personne réveillée peut-elle agir à trois heures du matin ?

Questions fréquentes

Quelles métriques Kafka doivent réellement déclencher une astreinte ?

Les partitions hors ligne supérieures à zéro, les partitions sous le min ISR supérieures à zéro, un nombre de contrôleurs actifs différent de un, un taux d'erreur des enregistrements côté producteur supérieur à zéro, et un lag des consommateurs qui augmente pendant une fenêtre plus longue qu'un déploiement. Les partitions sous-répliquées et la saturation des pools de threads justifient un ticket plutôt qu'une astreinte, sauf si elles persistent.

Quelle différence entre partitions sous-répliquées et partitions sous le min ISR ?

Sous-répliquée signifie qu'un follower est sorti de l'ensemble des réplicas synchronisés : la redondance est réduite, mais la partition continue de servir. Sous le min ISR signifie que l'ensemble synchronisé est passé sous min.insync.replicas : les requêtes de production en acks=all sont déjà rejetées alors que les brokers eux-mêmes paraissent sains.

Comment alerter sur le lag des consommateurs ?

En le suivant comme une tendance et un délai de rattrapage, et non comme un écart absolu d'offsets. Un consommateur sain à fort débit peut accuser un retard important et le rattraper en quelques secondes : un seuil statique déclenche donc une alerte à chaque redémarrage progressif. Alertez sur un lag qui continue d'augmenter au-delà d'une fenêtre de déploiement normale.

Superviser les brokers suffit-il, ou les métriques clientes comptent-elles ?

Les métriques clientes comptent, et une supervision limitée aux brokers passe à côté des défaillances que les utilisateurs remarquent en premier. Le taux d'erreur des producteurs, la latence des requêtes et le lag des consommateurs se mesurent côté client ; un consommateur qui a cessé de faire des polls peut encore paraître vivant du point de vue du broker, à travers ses offsets commités.

Consultation gratuite

Un regard expert sur votre cluster Kafka

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire