Torna a tutti i casi d'uso

SupportoSoftware / Piattaforme digitali

Ingegneri senior dedicati reperibili quando l'heap va in rosso

Vendor SaaS di soluzioni di osservabilità

Supporto continuativo 24/7 per un parco Elasticsearch colpito da ripetuti scatti del parent circuit breaker e da lunghe pause di garbage collection sotto il carico delle aggregazioni.

Panoramica

Un vendor di analytics multi-tenant continuava a perdere nodi a causa di lunghe pause stop-the-world della garbage collection durante l'aggiornamento delle dashboard rivolte ai clienti. AceMQ fornisce supporto continuativo con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che conoscono già la topologia del cluster.

Sfida

Le eccezioni del parent circuit breaker si manifestavano come ricerche fallite per il tenant che in quel momento stava eseguendo una query, il che faceva sembrare il problema casuale. Aggregazioni terms profonde su campi ad alta cardinalità e bucket date-histogram illimitati caricavano grandi quantità di field data nell'heap, e una manciata di query sovradimensionate poteva spingere un nodo oltre il breaker e innescare una pausa di GC abbastanza lunga da indurre il master a escluderlo dal cluster.

Ambiente

Elasticsearch su Kubernetes distribuito su tre availability zone, con carico di query misto tra i tenant e dashboard aggiornate a intervalli brevi.

Approccio

Gli interventi di supporto partono dall'analisi degli hot thread e dei log di GC durante un incidente in corso, non da un riepilogo post-mortem. Correliamo gli scatti del breaker con lo slow log per individuare le specifiche forme di query responsabili, quindi lavoriamo con gli ingegneri del cliente per limitarle a livello di API invece di alzare semplicemente i limiti del breaker.

Soluzione

  1. Risposta agli incidenti 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e nessun livello 1 di triage tra il cliente e un ingegnere senior
  2. Analisi di hot thread, log di GC e node stats acquisiti durante gli scatti del breaker in corso, anziché ricostruiti a posteriori
  3. Tuning del search slow log per far emergere le forme di aggregazione che causano davvero la crescita dell'heap
  4. Indicazioni su come limitare la dimensione delle aggregazioni terms, aggiungere limiti search.max_buckets e usare le composite aggregation per la paginazione profonda
  5. Dimensionamento di field data e query cache rivisto sul workload reale anziché sui valori predefiniti
  6. Procedure di rolling restart e sostituzione dei nodi validate con il cliente durante le finestre di manutenzione

Esito

Gli errori di ricerca legati al breaker sono scesi a una piccola frazione del tasso precedente e il cluster ha smesso di perdere nodi nelle ore di punta delle dashboard. Gli ingegneri del cliente individuano ora la maggior parte delle query problematiche già in fase di revisione, perché sanno riconoscere la firma del guasto.

Tecnologie

ElasticsearchKibanaKubernetesJava

Vi serve supporto specialistico per Elasticsearch?

Gli ingegneri Elasticsearch senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.