Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Revoir la forme des insertions pour que les merges suivent le rythme

Plateforme de mesure publicitaire

Résoudre des échecs d'ingestion où de fréquentes petites insertions créaient des parts plus vite que les merges en arrière-plan ne pouvaient les résorber, jusqu'à déclencher la limite de parts.

Présentation

Une plateforme de mesure a commencé à rejeter des insertions avec des erreurs too many parts pendant les pics de trafic. Chaque instance applicative insérait de petits lots de lignes à intervalle rapproché, créant bien plus de parts que l'ordonnanceur de merges ne pouvait en résorber. AceMQ est intervenu dans le cadre du SLA d'urgence.

Défi

La limite de parts est un garde-fou, pas le problème : la relever laisse la table se dégrader davantage, jusqu'à ce que les requêtes rampent en lisant des milliers de parts. Les vraies causes étaient la taille des lots d'insertion, leur fréquence, et une clé de partitionnement à cardinalité si élevée que chaque insertion touchait de nombreuses partitions à la fois, ce qui multipliait la création de parts.

Environnement

Cluster ClickHouse sur AWS ingérant des flux d'événements depuis Kafka pour la mesure de campagnes en temps réel.

Approche

AceMQ a mesuré le rythme de création de parts au regard du débit de merge, table par table, pour chiffrer l'écart réel, puis s'est d'abord attaqué à la forme des insertions, car aucun réglage des merges ne compense des insertions qui arrivent sous la mauvaise forme. Le changement de clé de partitionnement a été mené par étapes afin que les données existantes restent interrogeables tout du long.

Solution

  1. Mesure du rythme de création de parts au regard du débit de merge, table par table, pour chiffrer le déficit réel
  2. Regroupement des nombreuses petites insertions applicatives en lots moins nombreux et plus gros, via une couche d'ingestion avec mise en tampon
  3. Réduction de la cardinalité de la clé de partitionnement pour que chaque insertion touche un nombre borné de partitions
  4. Réajustement de la taille du pool de merges en arrière-plan et des paramètres de merge au regard du CPU et des I/O disponibles
  5. Changement de clé de partitionnement mené par étapes, les données existantes restant interrogeables pendant toute la transition
  6. Ajout du nombre de parts par table et du retard de merge aux alertes, bien en amont du seuil de rejet

Résultat obtenu

Les rejets d'insertion ont cessé et le nombre de parts est revenu dans une plage où les merges suivent le rythme pendant les pics de trafic. Les performances des requêtes se sont améliorées au passage, puisque les scans n'ont plus à ouvrir des milliers de parts par table.

Technologies

ClickHouseKafkaKubernetesPrometheus

Confronté à un incident de production ClickHouse ?

Les ingénieurs ClickHouse seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.