Voltar para todos os casos de uso

SuporteMultissetorial

Suporte ClickHouse 24/7 com engenheiros sêniores e metas de resposta a partir de 15 minutos, conforme o plano

Empresa de análise de dados de cibersegurança

Suporte contínuo para clusters ReplicatedMergeTree, cobrindo travamentos da fila de replicação, falhas por limite de memória em consultas grandes e backlogs de mutations.

Visão geral

Uma empresa de análise de segurança mantinha tabelas ReplicatedMergeTree em um cluster com vários shards. As filas de replicação travavam atrás de entradas presas, as consultas ad hoc dos analistas atingiam os limites de memória e falhavam, e as mutations de exclusão se acumulavam sem terminar. A AceMQ assumiu o suporte com engenheiros sêniores designados e sem triagem de nível 1.

Desafio

Os modos de falha do ClickHouse não são familiares para equipes que vêm de bancos de dados orientados a linhas. Uma entrada travada na fila de replicação bloqueia tudo o que está atrás dela e exige uma intervenção deliberada. As falhas por limite de memória nas consultas dos analistas vinham sendo resolvidas com o aumento dos limites, o que acabava empurrando o cluster para a pressão de memória no nível do host. As mutations eram emitidas como exclusões rotineiras, sem considerar o custo de reescrita que elas impõem.

Ambiente

ClickHouse no Kubernetes com coordenação pelo ClickHouse Keeper, atendendo a buscas e análises de eventos de segurança.

Abordagem

A AceMQ estabeleceu procedimentos de diagnóstico para cada classe de falha recorrente, para que a equipe do cliente pudesse resolver diretamente os casos comuns, reservando o escalonamento para incidentes realmente novos. Controles no nível das consultas substituíram os aumentos generalizados dos limites de memória, e a prática de mutations passou a seguir uma política.

Solução

  1. Criação de procedimentos de diagnóstico e recuperação para entradas travadas na fila de replicação e problemas de sessão no Keeper
  2. Substituição dos aumentos generalizados dos limites de memória por limites por consulta e por usuário, com spill controlado para disco
  3. Reescrita das consultas mais custosas dos analistas para usar projections e tabelas de agregação em vez de varreduras completas
  4. Definição de uma política de mutations abrangendo agrupamento, agendamento e os casos em que a expiração por TTL é a melhor ferramenta
  5. Instrumentação do atraso de replicação, do backlog de mutations e do uso de memória por consulta como sinais acompanhados
  6. Escalonamento 24/7 diretamente para engenheiros sêniores de ClickHouse, com metas de resposta a partir de 15 minutos, conforme o plano

Resultado obtido

Os travamentos de replicação agora são detectados e resolvidos antes de afetarem os resultados das consultas, e as falhas de consultas relacionadas à memória caíram para uma pequena fração da taxa anterior. A equipe do cliente resolve a maioria dos casos recorrentes com os runbooks, sem precisar escalar.

Tecnologias

ClickHouseClickHouse KeeperKubernetesPrometheus

Precisa de suporte especializado em ClickHouse?

Os engenheiros ClickHouse sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.