Panoramica
Quando un worker CloudHub si riavvia per pressione sulla memoria, la piattaforma segnala che è successo. Non dice però quale flow, quale object store o quale leak di un connector lo abbia causato. Questa analisi si svolge lato applicazione, ed è lì che lavora AceMQ: ottimizziamo ed eseguiamo il debug di ciò che i clienti fanno girare su MuleSoft, non gestiamo MuleSoft stesso.
Sfida
I worker si riavviavano diverse volte al giorno, perdendo i messaggi in transito. L'applicazione usava un object store in memoria senza scadenza per le chiavi di deduplicazione, manteneva dati di lookup in cache che crescevano senza limiti e aveva una configurazione dei connector che apriva una nuova connessione per ogni richiesta, senza pooling. Ciascuna causa da sola era sostenibile; insieme superavano ogni giorno il tetto di memoria del worker.
Ambiente
Applicazioni Mule su CloudHub in diversi ambienti, che integrano sistemi di punto vendita, inventario ed ERP.
Approccio
AceMQ ha correlato i timestamp dei riavvii con il comportamento dell'applicazione e le metriche dei worker per restringere la ricerca, quindi ha esaminato configurazione degli object store, cache scope e pooling dei connector, le tre cause più comuni di consumo di memoria lato applicazione. Ingegneri senior dedicati hanno lavorato direttamente sul problema con copertura 24/7 e obiettivi di risposta da 15 minuti, in base al piano.
Soluzione
- Correlati gli eventi di riavvio dei worker con l'attività dei flow e le metriche di memoria per isolare i flow coinvolti
- Object store in memoria senza limiti spostati su store persistenti con TTL espliciti
- Cache scope limitati e policy di eviction impostate sui dati di lookup cresciuti senza limiti
- Abilitato il connection pooling sui connector che aprivano una connessione per ogni richiesta
- Aggiunta la durabilità a livello di messaggio, così che un riavvio imprevisto non faccia più perdere il lavoro in corso
- Allocazione dei worker ridimensionata sulla memoria misurata a regime e nei picchi
Esito
I riavvii quotidiani dei worker sono cessati e i messaggi in transito ora sopravvivono a un riavvio invece di andare persi. Il dimensionamento dei worker è stato definito sul comportamento misurato anziché a intuito.