Panoramica
Un vendor di analytics multi-tenant continuava a perdere nodi a causa di lunghe pause stop-the-world della garbage collection durante l'aggiornamento delle dashboard rivolte ai clienti. AceMQ fornisce supporto continuativo con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che conoscono già la topologia del cluster.
Sfida
Le eccezioni del parent circuit breaker si manifestavano come ricerche fallite per il tenant che in quel momento stava eseguendo una query, il che faceva sembrare il problema casuale. Aggregazioni terms profonde su campi ad alta cardinalità e bucket date-histogram illimitati caricavano grandi quantità di field data nell'heap, e una manciata di query sovradimensionate poteva spingere un nodo oltre il breaker e innescare una pausa di GC abbastanza lunga da indurre il master a escluderlo dal cluster.
Ambiente
Elasticsearch su Kubernetes distribuito su tre availability zone, con carico di query misto tra i tenant e dashboard aggiornate a intervalli brevi.
Approccio
Gli interventi di supporto partono dall'analisi degli hot thread e dei log di GC durante un incidente in corso, non da un riepilogo post-mortem. Correliamo gli scatti del breaker con lo slow log per individuare le specifiche forme di query responsabili, quindi lavoriamo con gli ingegneri del cliente per limitarle a livello di API invece di alzare semplicemente i limiti del breaker.
Soluzione
- Risposta agli incidenti 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e nessun livello 1 di triage tra il cliente e un ingegnere senior
- Analisi di hot thread, log di GC e node stats acquisiti durante gli scatti del breaker in corso, anziché ricostruiti a posteriori
- Tuning del search slow log per far emergere le forme di aggregazione che causano davvero la crescita dell'heap
- Indicazioni su come limitare la dimensione delle aggregazioni terms, aggiungere limiti search.max_buckets e usare le composite aggregation per la paginazione profonda
- Dimensionamento di field data e query cache rivisto sul workload reale anziché sui valori predefiniti
- Procedure di rolling restart e sostituzione dei nodi validate con il cliente durante le finestre di manutenzione
Esito
Gli errori di ricerca legati al breaker sono scesi a una piccola frazione del tasso precedente e il cluster ha smesso di perdere nodi nelle ore di punta delle dashboard. Gli ingegneri del cliente individuano ora la maggior parte delle query problematiche già in fase di revisione, perché sanno riconoscere la firma del guasto.