Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Corrigir o formato dos inserts para que os merges consigam acompanhar

Plataforma de mensuração de adtech

Resolução de falhas de ingestão em que inserts pequenos e frequentes geravam parts mais rápido do que os merges em background conseguiam eliminá-las, estourando o limite de parts.

Visão geral

Uma plataforma de mensuração começou a rejeitar inserts com erros de too many parts durante os picos de tráfego. Cada instância da aplicação inseria pequenos lotes de linhas em um timer curto, criando muito mais parts do que o merge scheduler conseguia eliminar. A AceMQ foi acionada pelo SLA emergencial.

Desafio

O limite de parts é uma proteção, não o problema: aumentá-lo deixa a tabela se degradar ainda mais, até as consultas ficarem lentíssimas lendo milhares de parts. As causas reais eram o tamanho dos lotes de insert, a frequência dos inserts e uma partition key com cardinalidade alta o suficiente para que cada insert tocasse muitas partições ao mesmo tempo, multiplicando a criação de parts.

Ambiente

Cluster ClickHouse na AWS ingerindo streams de eventos do Kafka para mensuração de campanhas em tempo real.

Abordagem

A AceMQ mediu a taxa de criação de parts em relação ao throughput de merges por tabela para quantificar a diferença real e, em seguida, atacou primeiro o formato dos inserts, porque nenhum tuning de merge compensa inserts chegando no formato errado. A mudança da partition key foi feita em etapas para que os dados existentes continuassem consultáveis durante todo o processo.

Solução

  1. Medição da taxa de criação de parts em relação ao throughput de merges por tabela para quantificar o déficit real
  2. Consolidação de muitos inserts pequenos da aplicação em menos lotes grandes, por meio de uma camada de ingestão com buffer
  3. Redução da cardinalidade da partition key para que cada insert tocasse um número limitado de partições
  4. Novo ajuste do tamanho do pool de merges em background e das configurações de merge em relação à CPU e ao I/O disponíveis
  5. Mudança da partition key feita em etapas, para que os dados existentes continuassem consultáveis durante a transição
  6. Inclusão da quantidade de parts por tabela e do backlog de merges nos alertas, bem antes do limite de rejeição

Resultado obtido

As rejeições de inserts acabaram, e a quantidade de parts voltou a uma faixa em que os merges acompanham o ritmo durante os picos de tráfego. O desempenho das consultas melhorou como efeito colateral, já que as varreduras não precisam mais abrir milhares de parts por tabela.

Tecnologias

ClickHouseKafkaKubernetesPrometheus

Enfrentando um problema de produção com ClickHouse?

Os engenheiros ClickHouse sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.