Présentation
Une plateforme de mesure a commencé à rejeter des insertions avec des erreurs too many parts pendant les pics de trafic. Chaque instance applicative insérait de petits lots de lignes à intervalle rapproché, créant bien plus de parts que l'ordonnanceur de merges ne pouvait en résorber. AceMQ est intervenu dans le cadre du SLA d'urgence.
Défi
La limite de parts est un garde-fou, pas le problème : la relever laisse la table se dégrader davantage, jusqu'à ce que les requêtes rampent en lisant des milliers de parts. Les vraies causes étaient la taille des lots d'insertion, leur fréquence, et une clé de partitionnement à cardinalité si élevée que chaque insertion touchait de nombreuses partitions à la fois, ce qui multipliait la création de parts.
Environnement
Cluster ClickHouse sur AWS ingérant des flux d'événements depuis Kafka pour la mesure de campagnes en temps réel.
Approche
AceMQ a mesuré le rythme de création de parts au regard du débit de merge, table par table, pour chiffrer l'écart réel, puis s'est d'abord attaqué à la forme des insertions, car aucun réglage des merges ne compense des insertions qui arrivent sous la mauvaise forme. Le changement de clé de partitionnement a été mené par étapes afin que les données existantes restent interrogeables tout du long.
Solution
- Mesure du rythme de création de parts au regard du débit de merge, table par table, pour chiffrer le déficit réel
- Regroupement des nombreuses petites insertions applicatives en lots moins nombreux et plus gros, via une couche d'ingestion avec mise en tampon
- Réduction de la cardinalité de la clé de partitionnement pour que chaque insertion touche un nombre borné de partitions
- Réajustement de la taille du pool de merges en arrière-plan et des paramètres de merge au regard du CPU et des I/O disponibles
- Changement de clé de partitionnement mené par étapes, les données existantes restant interrogeables pendant toute la transition
- Ajout du nombre de parts par table et du retard de merge aux alertes, bien en amont du seuil de rejet
Résultat obtenu
Les rejets d'insertion ont cessé et le nombre de parts est revenu dans une plage où les merges suivent le rythme pendant les pics de trafic. Les performances des requêtes se sont améliorées au passage, puisque les scans n'ont plus à ouvrir des milliers de parts par table.