Visão geral
Um fornecedor de análise de dados multi-tenant perdia nós com frequência por causa de longas pausas stop-the-world de garbage collection durante a atualização dos dashboards usados pelos clientes. A AceMQ oferece suporte contínuo com metas de resposta a partir de 15 minutos, conforme o plano, e engenheiros sêniores designados que já conhecem a topologia do cluster.
Desafio
As exceções do parent circuit breaker apareciam como buscas com falha para qualquer tenant que estivesse consultando naquele momento, o que fazia o problema parecer aleatório. Terms aggregations profundas sobre campos de alta cardinalidade e date histograms com buckets ilimitados traziam grandes volumes de field data para o heap, e um punhado de consultas grandes demais podia levar um nó além do breaker e disparar uma pausa de GC longa o bastante para que o master o removesse do cluster.
Ambiente
Elasticsearch no Kubernetes em três zonas de disponibilidade, com carga mista de consultas dos tenants e dashboards atualizados em intervalos curtos.
Abordagem
Os atendimentos de suporte começam com a análise de hot threads e dos logs de GC durante o incidente em andamento, e não com um resumo post-mortem. Correlacionamos os disparos do breaker com o slow log para identificar os formatos de consulta específicos responsáveis e, em seguida, trabalhamos com os engenheiros do cliente para limitá-los na camada da API, em vez de simplesmente aumentar os limites do breaker.
Solução
- Resposta a incidentes 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e nenhuma camada de triagem de nível 1 entre o cliente e um engenheiro sênior
- Análise de hot threads, logs de GC e estatísticas dos nós capturados durante os disparos do breaker, e não reconstruídos depois
- Ajuste do search slow log para revelar os formatos de agregação que realmente provocam o crescimento do heap
- Orientações para limitar o tamanho das terms aggregations, definir limites de search.max_buckets e usar composite aggregations para paginação profunda
- Revisão do dimensionamento do field data e do query cache com base na carga de trabalho real, e não nos padrões
- Validação dos procedimentos de rolling restart e de substituição de nós junto com o cliente durante as janelas de manutenção
Resultado obtido
As falhas de busca relacionadas ao breaker caíram para uma pequena fração da taxa anterior, e o cluster deixou de perder nós nos horários de pico dos dashboards. Os próprios engenheiros do cliente hoje detectam a maioria das consultas problemáticas na revisão, porque sabem como é a assinatura da falha.