Voltar para todos os casos de uso

AvaliaçãoMultissetorial

Em um cluster MPP, a chave de distribuição define o seu teto de desempenho

Organizações de tecnologia corporativa

Uma revisão da quantidade de segmentos, das chaves de distribuição, da escolha de armazenamento e do agendamento de vacuum do Greenplum para analytics em escala de petabytes, focada nas decisões de design que causam skew.

Visão geral

O desempenho do Greenplum é definido, em grande parte, no momento do design. A quantidade de segmentos, as chaves de distribuição e a escolha de armazenamento determinam se o trabalho se distribui de forma equilibrada pelo cluster ou se acumula em um punhado de segmentos.

Desafio

O skew causado por uma chave de distribuição mal escolhida não se anuncia. Ele aparece como queries mais lentas do que o hardware deveria permitir, e fica mais difícil de corrigir à medida que o volume de dados cresce.

Ambiente

Aplicável a qualquer implantação de Greenplum, incluindo ambientes licenciados por meio de uma assinatura VMware Tanzu.

Abordagem

A AceMQ revisa a topologia do cluster em relação ao perfil da carga de trabalho: quantidade de segmentos e layout dos hosts, chaves de distribuição com o skew real medido, particionamento e escolha de armazenamento, e o agendamento de vacuum e analyze que mantém saudável um armazenamento append-optimized.

Solução

  1. Revisão da quantidade de segmentos e da topologia dos hosts
  2. Análise das chaves de distribuição com skew medido, e não presumido
  3. Revisão da estratégia de particionamento e da escolha de armazenamento
  4. Avaliação do agendamento de vacuum e analyze
  5. Otimização do ETL e do caminho de carga
  6. Roadmap de correções priorizado por risco

Resultado obtido

As equipes descobrem quais tabelas estão de fato com skew, quanto isso está custando e quais correções vale a pena fazer antes da próxima etapa de crescimento.

Tecnologias

GreenplumPostgreSQL

Pronto para um health check do Greenplum?

Os engenheiros Greenplum sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.