Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Errori 502 intermittenti di cui i log del servizio upstream non avevano traccia

Piattaforma di commercio digitale

Ricondurre gli errori 502 intermittenti sul gateway Kong a health check attivi mal configurati e alla risoluzione DNS obsoleta dei nomi dei servizi upstream.

Panoramica

Un 502 di Kong significa che il gateway non è riuscito a ottenere una risposta utilizzabile da un target upstream. La difficoltà è che spesso l'upstream è perfettamente in salute: il gateway sta comunicando con un indirizzo che non esiste più, oppure ha escluso un target sano perché l'health check verificava la cosa sbagliata.

Sfida

Una quota piccola ma costante di richieste restituiva 502 senza alcuna voce corrispondente nei log applicativi dell'upstream, il che allontanava i sospetti dall'applicazione e li indirizzava verso la visione che il gateway aveva dei propri target. L'health check attivo era configurato su un percorso che rispondeva 401 alle sonde non autenticate, per cui il circuit breaker di Kong escludeva target sani. Inoltre, la cache DNS di Kong conservava gli IP risolti degli upstream oltre il loro TTL, e il gateway continuava così a contattare pod che erano stati rischedulati altrove.

Ambiente

Gateway Kong su Kubernetes davanti a microservizi containerizzati, con upstream definiti tramite nomi DNS dei servizi e pod rischedulati con regolarità.

Approccio

AceMQ ha correlato gli access log del gateway e l'error log di Kong con gli eventi del ciclo di vita dei pod upstream, allineando i picchi di 502 con le rischedulazioni. Ne è emerso che una causa era il comportamento della cache DNS e l'altra il requisito di autenticazione dell'endpoint di health check. Entrambe sono state corrette e la soluzione è stata validata con un rolling restart eseguito appositamente.

Soluzione

  1. Correlazione degli error log di Kong con gli eventi del ciclo di vita dei pod upstream, per allineare nel tempo i picchi di 502 con le rischedulazioni
  2. Health check attivi reindirizzati su un endpoint di liveness non autenticato che restituisce un segnale di salute reale
  3. Ottimizzazione della risoluzione DNS e della gestione del TTL, così che il gateway smetta di contattare indirizzi upstream obsoleti
  4. Regolazione delle soglie degli health check passivi, così che gli errori transitori non escludano più target sani
  5. Validazione della correzione con un rolling restart forzato di tutti i servizi upstream

Esito

Gli errori 502 intermittenti sono stati eliminati e i rolling deployment dei servizi upstream non producono più picchi di errori sul gateway.

Tecnologie

KongKubernetesNGINXPostgreSQLDocker

Avete un problema di produzione su Kong?

Gli ingegneri Kong senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.