Visão geral
Uma empresa de análise de segurança mantinha tabelas ReplicatedMergeTree em um cluster com vários shards. As filas de replicação travavam atrás de entradas presas, as consultas ad hoc dos analistas atingiam os limites de memória e falhavam, e as mutations de exclusão se acumulavam sem terminar. A AceMQ assumiu o suporte com engenheiros sêniores designados e sem triagem de nível 1.
Desafio
Os modos de falha do ClickHouse não são familiares para equipes que vêm de bancos de dados orientados a linhas. Uma entrada travada na fila de replicação bloqueia tudo o que está atrás dela e exige uma intervenção deliberada. As falhas por limite de memória nas consultas dos analistas vinham sendo resolvidas com o aumento dos limites, o que acabava empurrando o cluster para a pressão de memória no nível do host. As mutations eram emitidas como exclusões rotineiras, sem considerar o custo de reescrita que elas impõem.
Ambiente
ClickHouse no Kubernetes com coordenação pelo ClickHouse Keeper, atendendo a buscas e análises de eventos de segurança.
Abordagem
A AceMQ estabeleceu procedimentos de diagnóstico para cada classe de falha recorrente, para que a equipe do cliente pudesse resolver diretamente os casos comuns, reservando o escalonamento para incidentes realmente novos. Controles no nível das consultas substituíram os aumentos generalizados dos limites de memória, e a prática de mutations passou a seguir uma política.
Solução
- Criação de procedimentos de diagnóstico e recuperação para entradas travadas na fila de replicação e problemas de sessão no Keeper
- Substituição dos aumentos generalizados dos limites de memória por limites por consulta e por usuário, com spill controlado para disco
- Reescrita das consultas mais custosas dos analistas para usar projections e tabelas de agregação em vez de varreduras completas
- Definição de uma política de mutations abrangendo agrupamento, agendamento e os casos em que a expiração por TTL é a melhor ferramenta
- Instrumentação do atraso de replicação, do backlog de mutations e do uso de memória por consulta como sinais acompanhados
- Escalonamento 24/7 diretamente para engenheiros sêniores de ClickHouse, com metas de resposta a partir de 15 minutos, conforme o plano
Resultado obtido
Os travamentos de replicação agora são detectados e resolvidos antes de afetarem os resultados das consultas, e as falhas de consultas relacionadas à memória caíram para uma pequena fração da taxa anterior. A equipe do cliente resolve a maioria dos casos recorrentes com os runbooks, sem precisar escalar.