Visão geral
Uma plataforma de mensuração começou a rejeitar inserts com erros de too many parts durante os picos de tráfego. Cada instância da aplicação inseria pequenos lotes de linhas em um timer curto, criando muito mais parts do que o merge scheduler conseguia eliminar. A AceMQ foi acionada pelo SLA emergencial.
Desafio
O limite de parts é uma proteção, não o problema: aumentá-lo deixa a tabela se degradar ainda mais, até as consultas ficarem lentíssimas lendo milhares de parts. As causas reais eram o tamanho dos lotes de insert, a frequência dos inserts e uma partition key com cardinalidade alta o suficiente para que cada insert tocasse muitas partições ao mesmo tempo, multiplicando a criação de parts.
Ambiente
Cluster ClickHouse na AWS ingerindo streams de eventos do Kafka para mensuração de campanhas em tempo real.
Abordagem
A AceMQ mediu a taxa de criação de parts em relação ao throughput de merges por tabela para quantificar a diferença real e, em seguida, atacou primeiro o formato dos inserts, porque nenhum tuning de merge compensa inserts chegando no formato errado. A mudança da partition key foi feita em etapas para que os dados existentes continuassem consultáveis durante todo o processo.
Solução
- Medição da taxa de criação de parts em relação ao throughput de merges por tabela para quantificar o déficit real
- Consolidação de muitos inserts pequenos da aplicação em menos lotes grandes, por meio de uma camada de ingestão com buffer
- Redução da cardinalidade da partition key para que cada insert tocasse um número limitado de partições
- Novo ajuste do tamanho do pool de merges em background e das configurações de merge em relação à CPU e ao I/O disponíveis
- Mudança da partition key feita em etapas, para que os dados existentes continuassem consultáveis durante a transição
- Inclusão da quantidade de parts por tabela e do backlog de merges nos alertas, bem antes do limite de rejeição
Resultado obtido
As rejeições de inserts acabaram, e a quantidade de parts voltou a uma faixa em que os merges acompanham o ritmo durante os picos de tráfego. O desempenho das consultas melhorou como efeito colateral, já que as varreduras não precisam mais abrir milhares de parts por tabela.