Visão geral
O desempenho do Greenplum é definido, em grande parte, no momento do design. A quantidade de segmentos, as chaves de distribuição e a escolha de armazenamento determinam se o trabalho se distribui de forma equilibrada pelo cluster ou se acumula em um punhado de segmentos.
Desafio
O skew causado por uma chave de distribuição mal escolhida não se anuncia. Ele aparece como queries mais lentas do que o hardware deveria permitir, e fica mais difícil de corrigir à medida que o volume de dados cresce.
Ambiente
Aplicável a qualquer implantação de Greenplum, incluindo ambientes licenciados por meio de uma assinatura VMware Tanzu.
Abordagem
A AceMQ revisa a topologia do cluster em relação ao perfil da carga de trabalho: quantidade de segmentos e layout dos hosts, chaves de distribuição com o skew real medido, particionamento e escolha de armazenamento, e o agendamento de vacuum e analyze que mantém saudável um armazenamento append-optimized.
Solução
- Revisão da quantidade de segmentos e da topologia dos hosts
- Análise das chaves de distribuição com skew medido, e não presumido
- Revisão da estratégia de particionamento e da escolha de armazenamento
- Avaliação do agendamento de vacuum e analyze
- Otimização do ETL e do caminho de carga
- Roadmap de correções priorizado por risco
Resultado obtido
As equipes descobrem quais tabelas estão de fato com skew, quanto isso está custando e quais correções vale a pena fazer antes da próxima etapa de crescimento.