Panoramica
Un fornitore di servizi logistici gestiva ELK tra siti cloud e on-premises senza una responsabilità dedicata della piattaforma. I problemi di ingest tendevano a emergere giorni dopo, sotto forma di dati mancanti nelle dashboard. AceMQ fornisce supporto continuativo sull'intero percorso di ingest.
Sfida
I guasti erano distribuiti su più livelli e nessuno era responsabile dell'intera catena. I conflitti di mapping scartavano silenziosamente i documenti quando due servizi usavano lo stesso nome di campo con tipi diversi: i dati semplicemente non arrivavano mai e non esisteva alcun alert sui rifiuti. Gli index template divergevano tra un ambiente e l'altro, per cui una pipeline validata in staging si comportava diversamente in produzione. Gli agent Beats sugli host più vecchi eseguivano versioni ormai fuori dall'intervallo di compatibilità supportato con il cluster.
Ambiente
Installazione ELK ibrida con agent Beats su siti cloud e on-premises e più team che contribuiscono alla configurazione delle pipeline.
Approccio
Il supporto copre la pipeline end-to-end perché è lì che si verificano i guasti. Abbiamo impostato alert sui documenti rifiutati, così la perdita silenziosa di dati diventa visibile, teniamo index template e definizioni delle pipeline sotto controllo di versione con parità tra gli ambienti e gestiamo la compatibilità delle versioni di Beats come attività pianificata invece che come emergenza.
Soluzione
- Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che coprono l'intero percorso di ingest
- Alert su documenti rifiutati e conflitti di mapping, così i dati scartati silenziosamente emergono subito
- Standardizzazione di index template e component template con una convenzione di denominazione dei campi che previene i conflitti di tipo
- Definizioni di pipeline e template sotto controllo di versione, con parità obbligatoria tra staging e produzione
- Inventario delle versioni degli agent Beats e calendario di aggiornamento programmato per mantenere la flotta entro l'intervallo supportato
- Revisione delle modifiche alle pipeline prima che arrivino in produzione, con un rollback definito per ogni modifica
Esito
I rifiuti silenziosi dei documenti vengono ora intercettati nel giro di minuti, invece di emergere giorni dopo come dati mancanti nelle dashboard. Da quando i template sono passati sotto controllo di versione, la divergenza tra staging e produzione si è di fatto azzerata.