Descripción general
Un proveedor de analítica multi-tenant perdía nodos una y otra vez por pausas prolongadas de garbage collection de tipo stop-the-world durante la actualización de los dashboards que veían sus clientes. AceMQ brinda soporte continuo con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que ya conocen la topología del clúster.
Desafío
Las excepciones del parent circuit breaker aparecían como búsquedas fallidas para el tenant que estuviera consultando en ese momento, lo que hacía que el problema pareciera aleatorio. Las agregaciones terms profundas sobre campos de alta cardinalidad y los buckets de date-histogram sin límite cargaban grandes cantidades de field data en el heap, y unas pocas consultas sobredimensionadas podían llevar un nodo más allá del breaker y provocar una pausa de GC lo bastante larga como para que el master lo sacara del clúster.
Entorno
Elasticsearch en Kubernetes en tres zonas de disponibilidad, con carga de consultas mixta entre tenants y dashboards que se actualizan a intervalos cortos.
Enfoque
Los contratos de soporte comienzan con el análisis de hot threads y de los logs de GC durante un incidente en curso, no con un resumen post mortem. Correlacionamos los disparos del breaker con el slow log para identificar las formas de consulta específicas responsables y luego trabajamos con los ingenieros del cliente para acotarlas en la capa de API, en lugar de simplemente aumentar los límites del breaker.
Solución
- Respuesta a incidentes 24/7 con objetivos de respuesta desde 15 minutos, según el plan, y sin una capa de triaje de nivel 1 entre el cliente y un ingeniero sénior
- Análisis de hot threads, logs de GC y node stats capturados durante los eventos del breaker en curso, en lugar de reconstruirlos después
- Ajuste del search slow log para poner en evidencia las formas de agregación que realmente impulsan el crecimiento del heap
- Orientación para acotar el tamaño de las agregaciones terms, agregar límites con search.max_buckets y usar agregaciones composite para la paginación profunda
- Revisión del dimensionamiento del caché de field data y de consultas frente a la carga de trabajo real, en lugar de los valores predeterminados
- Procedimientos de reinicio escalonado y reemplazo de nodos validados con el cliente durante las ventanas de mantenimiento
Resultado final
Las fallas de búsqueda relacionadas con el breaker bajaron a una pequeña fracción de su tasa anterior y el clúster dejó de perder nodos durante las horas pico de los dashboards. Ahora, los propios ingenieros del cliente detectan la mayoría de las consultas problemáticas en la revisión, porque saben cómo se ve la firma de la falla.