Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Engenheiros sêniores designados de plantão quando o heap fica no vermelho

Fornecedor de observabilidade SaaS

Suporte contínuo 24/7 para um ambiente Elasticsearch que sofria disparos repetidos do parent circuit breaker e longas pausas de garbage collection sob carga de agregações.

Visão geral

Um fornecedor de análise de dados multi-tenant perdia nós com frequência por causa de longas pausas stop-the-world de garbage collection durante a atualização dos dashboards usados pelos clientes. A AceMQ oferece suporte contínuo com metas de resposta a partir de 15 minutos, conforme o plano, e engenheiros sêniores designados que já conhecem a topologia do cluster.

Desafio

As exceções do parent circuit breaker apareciam como buscas com falha para qualquer tenant que estivesse consultando naquele momento, o que fazia o problema parecer aleatório. Terms aggregations profundas sobre campos de alta cardinalidade e date histograms com buckets ilimitados traziam grandes volumes de field data para o heap, e um punhado de consultas grandes demais podia levar um nó além do breaker e disparar uma pausa de GC longa o bastante para que o master o removesse do cluster.

Ambiente

Elasticsearch no Kubernetes em três zonas de disponibilidade, com carga mista de consultas dos tenants e dashboards atualizados em intervalos curtos.

Abordagem

Os atendimentos de suporte começam com a análise de hot threads e dos logs de GC durante o incidente em andamento, e não com um resumo post-mortem. Correlacionamos os disparos do breaker com o slow log para identificar os formatos de consulta específicos responsáveis e, em seguida, trabalhamos com os engenheiros do cliente para limitá-los na camada da API, em vez de simplesmente aumentar os limites do breaker.

Solução

  1. Resposta a incidentes 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e nenhuma camada de triagem de nível 1 entre o cliente e um engenheiro sênior
  2. Análise de hot threads, logs de GC e estatísticas dos nós capturados durante os disparos do breaker, e não reconstruídos depois
  3. Ajuste do search slow log para revelar os formatos de agregação que realmente provocam o crescimento do heap
  4. Orientações para limitar o tamanho das terms aggregations, definir limites de search.max_buckets e usar composite aggregations para paginação profunda
  5. Revisão do dimensionamento do field data e do query cache com base na carga de trabalho real, e não nos padrões
  6. Validação dos procedimentos de rolling restart e de substituição de nós junto com o cliente durante as janelas de manutenção

Resultado obtido

As falhas de busca relacionadas ao breaker caíram para uma pequena fração da taxa anterior, e o cluster deixou de perder nós nos horários de pico dos dashboards. Os próprios engenheiros do cliente hoje detectam a maioria das consultas problemáticas na revisão, porque sabem como é a assinatura da falha.

Tecnologias

ElasticsearchKibanaKubernetesJava

Precisa de suporte especializado em Elasticsearch?

Os engenheiros Elasticsearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.