Panoramica
Le prestazioni di Greenplum si decidono in gran parte in fase di progettazione. Numero di segment, chiavi di distribuzione e scelta dello storage determinano se il lavoro si distribuisce in modo uniforme sul cluster o si concentra su una manciata di segment.
Sfida
Lo skew dovuto a una chiave di distribuzione scelta male non si annuncia. Si manifesta con query più lente di quanto l'hardware dovrebbe consentire, e diventa più difficile da correggere man mano che il volume dei dati cresce.
Ambiente
Applicabile a qualsiasi installazione Greenplum, compresi i parchi con licenza ottenuta tramite una subscription VMware Tanzu.
Approccio
AceMQ confronta la topologia del cluster con le caratteristiche del carico: numero di segment e disposizione degli host, chiavi di distribuzione con lo skew effettivo misurato, partizionamento e scelta dello storage, e la pianificazione di vacuum e analyze che mantiene in salute uno storage append-optimized.
Soluzione
- Revisione del numero di segment e della topologia degli host
- Analisi delle chiavi di distribuzione con skew misurato, non presunto
- Revisione della strategia di partizionamento e della scelta dello storage
- Valutazione della pianificazione di vacuum e analyze
- Ottimizzazione dei percorsi di ETL e caricamento
- Roadmap degli interventi ordinata per rischio
Esito
I team scoprono quali tabelle sono davvero sbilanciate, quanto costa loro e quali correzioni vale la pena fare prima della prossima fase di crescita.