Présentation
Les performances de Greenplum se jouent en grande partie à la conception. Le nombre de segments, les clés de distribution et le choix du stockage déterminent si le travail se répartit uniformément sur le cluster ou s'accumule sur une poignée de segments.
Défi
Le skew dû à une clé de distribution mal choisie ne se signale pas de lui-même. Il se manifeste par des requêtes plus lentes que ce que le matériel devrait permettre, et devient de plus en plus difficile à corriger à mesure que le volume de données augmente.
Environnement
Applicable à tout déploiement Greenplum, y compris les parcs couverts par un abonnement VMware Tanzu.
Approche
AceMQ confronte la topologie du cluster au profil de la charge : nombre de segments et répartition sur les hôtes, clés de distribution mesurées pour leur skew réel, partitionnement et choix du stockage, ainsi que la planification de vacuum et d'analyze qui maintient en bonne santé un stockage append-optimized.
Solution
- Revue du nombre de segments et de la topologie des hôtes
- Analyse des clés de distribution avec un skew mesuré, et non supposé
- Revue de la stratégie de partitionnement et du choix du stockage
- Évaluation de la planification de vacuum et d'analyze
- Optimisation de l'ETL et des chemins de chargement
- Feuille de route de remédiation priorisée selon les risques
Résultat obtenu
Les équipes savent quelles tables présentent réellement du skew, ce que cela leur coûte et quelles corrections méritent d'être faites avant la prochaine étape de croissance.