Descripción general
Un proveedor de analítica multitenant perdía nodos una y otra vez por largas pausas stop-the-world de recolección de basura durante las actualizaciones de los dashboards que ven sus clientes. AceMQ presta soporte continuo con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que ya conocen la topología del clúster.
Reto
Las excepciones del parent circuit breaker aparecían como búsquedas fallidas para el tenant que estuviera consultando en ese momento, lo que hacía que el problema pareciera aleatorio. Las agregaciones terms profundas sobre campos de alta cardinalidad y los buckets de date-histogram sin límite cargaban grandes cantidades de field data en el heap, y unas pocas consultas sobredimensionadas podían llevar a un nodo más allá del breaker y provocar una pausa de GC lo bastante larga como para que el master lo expulsara del clúster.
Entorno
Elasticsearch en Kubernetes repartido en tres zonas de disponibilidad, con carga de consultas mixta de varios tenants y dashboards que se actualizan a intervalos cortos.
Enfoque
Los servicios de soporte empiezan con el análisis de hot threads y de los logs de GC durante un incidente en directo, no con un resumen posterior. Correlacionamos los disparos del breaker con el slow log para identificar las formas de consulta concretas responsables y, después, trabajamos con los ingenieros del cliente para acotarlas en la capa de API en lugar de limitarnos a subir los límites del breaker.
Solución
- Respuesta a incidentes 24/7 con objetivos de respuesta desde 15 minutos, según el plan, y sin una capa de triaje de nivel 1 entre el cliente y un ingeniero sénior
- Análisis de hot threads, logs de GC y estadísticas de nodos capturados durante los disparos del breaker en directo, en lugar de reconstruidos después
- Ajuste del slow log de búsquedas para poner de manifiesto las formas de agregación que realmente provocan el crecimiento del heap
- Orientación para acotar el tamaño de las agregaciones terms, añadir límites search.max_buckets y usar composite aggregations para la paginación profunda
- Revisión del tamaño de la field data y de la caché de consultas frente a la carga real y no frente a los valores por defecto
- Validación con el cliente, durante las ventanas de mantenimiento, de los procedimientos de reinicio escalonado y sustitución de nodos
Resultado final
Los fallos de búsqueda relacionados con el breaker se redujeron a una pequeña fracción de su tasa anterior y el clúster dejó de perder nodos en las horas punta de los dashboards. Los propios ingenieros del cliente detectan ahora la mayoría de las consultas problemáticas en revisión, porque saben cómo es la firma del fallo.