Visão geral
Uma plataforma de medição começou a rejeitar inserções com erros too many parts durante os picos de tráfego. Cada instância da aplicação inseria pequenos lotes de linhas num temporizador curto, criando muito mais parts do que o merge scheduler conseguia eliminar. A AceMQ interveio ao abrigo do SLA de emergência.
Desafio
O limite de parts é uma salvaguarda, e não o problema — aumentá-lo deixa a tabela degradar-se ainda mais, até as consultas ficarem quase paradas a ler milhares de parts. As verdadeiras causas eram o tamanho dos lotes de inserção, a frequência das inserções e uma chave de partição com cardinalidade suficientemente alta para que cada inserção tocasse em muitas partições ao mesmo tempo, multiplicando a criação de parts.
Ambiente
Cluster ClickHouse na AWS a ingerir streams de eventos a partir de Kafka para medição de campanhas em tempo real.
Abordagem
A AceMQ mediu o ritmo de criação de parts face ao débito de merges em cada tabela para quantificar o défice real e tratou primeiro da forma das inserções, porque nenhuma afinação de merges compensa inserções que chegam no formato errado. A alteração da chave de partição foi faseada para que os dados existentes continuassem a poder ser consultados durante todo o processo.
Solução
- Medição do ritmo de criação de parts face ao débito de merges em cada tabela para quantificar o défice real
- Consolidação de muitas inserções pequenas da aplicação em menos lotes de maior dimensão, através de uma camada de ingestão com buffer
- Redução da cardinalidade da chave de partição para que cada inserção tocasse num número limitado de partições
- Nova afinação da dimensão do pool de merges em segundo plano e das definições de merge face ao CPU e ao I/O disponíveis
- Faseamento da alteração da chave de partição para que os dados existentes continuassem consultáveis durante a transição
- Inclusão do número de parts por tabela e do backlog de merges nos alertas, muito antes do limiar de rejeição
Resultado final
As rejeições de inserções pararam e o número de parts voltou a um intervalo em que os merges acompanham o ritmo durante os picos de tráfego. O desempenho das consultas melhorou como efeito secundário, uma vez que as leituras deixaram de ter de abrir milhares de parts por tabela.