Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Ingenieros sénior asignados y de guardia cuando el heap se pone en rojo

Proveedor SaaS de observabilidad

Soporte continuo 24/7 para un entorno de Elasticsearch que sufría disparos repetidos del parent circuit breaker y pausas prolongadas de garbage collection bajo carga de agregaciones.

Descripción general

Un proveedor de analítica multi-tenant perdía nodos una y otra vez por pausas prolongadas de garbage collection de tipo stop-the-world durante la actualización de los dashboards que veían sus clientes. AceMQ brinda soporte continuo con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que ya conocen la topología del clúster.

Desafío

Las excepciones del parent circuit breaker aparecían como búsquedas fallidas para el tenant que estuviera consultando en ese momento, lo que hacía que el problema pareciera aleatorio. Las agregaciones terms profundas sobre campos de alta cardinalidad y los buckets de date-histogram sin límite cargaban grandes cantidades de field data en el heap, y unas pocas consultas sobredimensionadas podían llevar un nodo más allá del breaker y provocar una pausa de GC lo bastante larga como para que el master lo sacara del clúster.

Entorno

Elasticsearch en Kubernetes en tres zonas de disponibilidad, con carga de consultas mixta entre tenants y dashboards que se actualizan a intervalos cortos.

Enfoque

Los contratos de soporte comienzan con el análisis de hot threads y de los logs de GC durante un incidente en curso, no con un resumen post mortem. Correlacionamos los disparos del breaker con el slow log para identificar las formas de consulta específicas responsables y luego trabajamos con los ingenieros del cliente para acotarlas en la capa de API, en lugar de simplemente aumentar los límites del breaker.

Solución

  1. Respuesta a incidentes 24/7 con objetivos de respuesta desde 15 minutos, según el plan, y sin una capa de triaje de nivel 1 entre el cliente y un ingeniero sénior
  2. Análisis de hot threads, logs de GC y node stats capturados durante los eventos del breaker en curso, en lugar de reconstruirlos después
  3. Ajuste del search slow log para poner en evidencia las formas de agregación que realmente impulsan el crecimiento del heap
  4. Orientación para acotar el tamaño de las agregaciones terms, agregar límites con search.max_buckets y usar agregaciones composite para la paginación profunda
  5. Revisión del dimensionamiento del caché de field data y de consultas frente a la carga de trabajo real, en lugar de los valores predeterminados
  6. Procedimientos de reinicio escalonado y reemplazo de nodos validados con el cliente durante las ventanas de mantenimiento

Resultado final

Las fallas de búsqueda relacionadas con el breaker bajaron a una pequeña fracción de su tasa anterior y el clúster dejó de perder nodos durante las horas pico de los dashboards. Ahora, los propios ingenieros del cliente detectan la mayoría de las consultas problemáticas en la revisión, porque saben cómo se ve la firma de la falla.

Tecnologías

ElasticsearchKibanaKubernetesJava

¿Necesita soporte experto de Elasticsearch?

Los ingenieros sénior de Elasticsearch de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.