Voltar a todos os casos de utilização

CorreçãoSoftware / Plataformas digitais

Corrigir a forma das inserções para que os merges consigam acompanhar

Plataforma de medição de publicidade digital

Resolução de falhas de ingestão em que inserções pequenas e frequentes criavam parts mais depressa do que os merges em segundo plano as conseguiam eliminar, ultrapassando o limite de parts.

Visão geral

Uma plataforma de medição começou a rejeitar inserções com erros too many parts durante os picos de tráfego. Cada instância da aplicação inseria pequenos lotes de linhas num temporizador curto, criando muito mais parts do que o merge scheduler conseguia eliminar. A AceMQ interveio ao abrigo do SLA de emergência.

Desafio

O limite de parts é uma salvaguarda, e não o problema — aumentá-lo deixa a tabela degradar-se ainda mais, até as consultas ficarem quase paradas a ler milhares de parts. As verdadeiras causas eram o tamanho dos lotes de inserção, a frequência das inserções e uma chave de partição com cardinalidade suficientemente alta para que cada inserção tocasse em muitas partições ao mesmo tempo, multiplicando a criação de parts.

Ambiente

Cluster ClickHouse na AWS a ingerir streams de eventos a partir de Kafka para medição de campanhas em tempo real.

Abordagem

A AceMQ mediu o ritmo de criação de parts face ao débito de merges em cada tabela para quantificar o défice real e tratou primeiro da forma das inserções, porque nenhuma afinação de merges compensa inserções que chegam no formato errado. A alteração da chave de partição foi faseada para que os dados existentes continuassem a poder ser consultados durante todo o processo.

Solução

  1. Medição do ritmo de criação de parts face ao débito de merges em cada tabela para quantificar o défice real
  2. Consolidação de muitas inserções pequenas da aplicação em menos lotes de maior dimensão, através de uma camada de ingestão com buffer
  3. Redução da cardinalidade da chave de partição para que cada inserção tocasse num número limitado de partições
  4. Nova afinação da dimensão do pool de merges em segundo plano e das definições de merge face ao CPU e ao I/O disponíveis
  5. Faseamento da alteração da chave de partição para que os dados existentes continuassem consultáveis durante a transição
  6. Inclusão do número de parts por tabela e do backlog de merges nos alertas, muito antes do limiar de rejeição

Resultado final

As rejeições de inserções pararam e o número de parts voltou a um intervalo em que os merges acompanham o ritmo durante os picos de tráfego. O desempenho das consultas melhorou como efeito secundário, uma vez que as leituras deixaram de ter de abrir milhares de parts por tabela.

Tecnologias

ClickHouseKafkaKubernetesPrometheus

Tem um problema de produção com ClickHouse?

Os engenheiros seniores de ClickHouse da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.