Présentation
Une table Delta alimentée par un job de streaming à intervalle de déclenchement court, avec une colonne de partition à forte cardinalité, accumule les petits fichiers plus vite que quiconque ne s'en aperçoit. Des requêtes qui répondaient en quelques secondes passent désormais l'essentiel de leur temps à lister des fichiers et à résoudre des métadonnées. AceMQ assainit les tables et corrige le chemin d'écriture à l'origine du problème.
Défi
Les symptômes se manifestent généralement par une latence de lecture qui augmente progressivement plutôt que brutalement : une requête de dashboard qui prenait huit secondes en prend maintenant quatre minutes, les jobs OPTIMIZE dépassent leur fenêtre et sont interrompus, et VACUUM ne parvient pas à aboutir parce que la liste des fichiers est elle-même gigantesque. Lancer naïvement OPTIMIZE sur toute la table déclenche une réécriture qui consomme plus de calcul que prévu au budget et entre en conflit avec les écritures concurrentes.
Environnement
Databricks avec des tables Delta écrites par Structured Streaming, Auto Loader ou des jobs micro-batch fréquents sur stockage objet cloud.
Approche
AceMQ profile le nombre et la distribution de taille des fichiers par partition pour localiser les zones les plus touchées, puis compacte de façon incrémentale par plage de partitions, afin que chaque exécution d'OPTIMIZE tienne dans une fenêtre de maintenance sans entrer en collision avec les écritures en cours. Une fois la table assainie, le chemin d'écriture est corrigé (intervalles de déclenchement, choix de la colonne de partition et paramètres d'auto-compaction) pour éviter toute régression.
Solution
- Profilage du nombre et de la taille des fichiers par partition, pour localiser où les petits fichiers s'accumulent réellement
- OPTIMIZE incrémental avec ZORDER sur les prédicats réels des requêtes, planifié par plage de partitions pour tenir dans la fenêtre de maintenance
- Revue de la stratégie de partitionnement, qui conduit généralement à retirer une colonne à forte cardinalité qui devrait plutôt servir de clé ZORDER
- Configuration de l'auto-optimize et de l'auto-compaction sur le chemin d'écriture en streaming, avec une taille de fichier cible ajustée
- Revue de la rétention de VACUUM et exécution par étapes une fois le nombre de fichiers revenu dans la norme
- Revue des paramètres de deletion vectors et de checkpoints pour les tables soumises à de nombreux MERGE
Résultat obtenu
La latence de lecture des tables concernées revient généralement à son niveau d'origine, et les jobs de maintenance se terminent de nouveau dans leur fenêtre. Comme le chemin d'écriture est corrigé dans la même mission, le nombre de fichiers reste stable au lieu de remonter au cours du trimestre suivant.