Panoramica
Un OOMKilled senza alcun errore di out-of-memory a livello applicativo significa di solito che il runtime all'interno del container non ha mai saputo del limite di memoria del container. Una JVM su un'immagine base datata, o un processo Node con un max-old-space-size impostato a mano e copiato da un host più grande, si dimensiona sulla memoria totale dell'host e viene terminato dal kernel molto prima di ritenersi sotto pressione.
Sfida
Diversi servizi venivano terminati con OOMKilled più volte al giorno senza heap dump né errori applicativi: il kernel uccideva il processo prima che il runtime potesse segnalare qualcosa. Alcuni servizi eseguivano una JVM su un'immagine base precedente a un supporto affidabile dei container, altri eseguivano Node con un tetto dell'heap più alto del limite del container stesso. Si era già provato ad alzare i limiti di memoria, ottenendo solo di spostare la soglia.
Ambiente
Servizi JVM e Node containerizzati su Kubernetes, costruiti a partire da un insieme di immagini base gestite da team diversi.
Approccio
AceMQ ha confrontato la configurazione della memoria del runtime di ciascun container interessato con il relativo limite del cgroup, per distinguere i processi che ignoravano il limite da quelli semplicemente configurati male. Entrambe le categorie sono state corrette a livello di immagine e di manifest, invece di alzare i limiti finché le terminazioni non cessavano.
Soluzione
- Configurazione effettiva della memoria di ciascun runtime confrontata con il limite reale del cgroup del container
- Immagini base aggiornate a versioni del runtime che rispettano i limiti del cgroup, con impostazioni esplicite dell'heap in percentuale
- Eliminati i tetti dell'heap hardcoded che superavano il limite di memoria del container
- Memoria off-heap, metaspace e stack dei thread considerate nel limite, non solo l'heap
- Aggiunte metriche di memoria a livello di container e alert sugli OOMKill distinti dagli alert sugli errori applicativi
- Load test di ciascun servizio per stabilire un limite basato sul picco misurato anziché per tentativi
Esito
Gli OOMKill ricorrenti sono stati eliminati, e i limiti di memoria ora derivano dall'utilizzo misurato più un margine, invece di essere aumentati dopo ogni incidente.