Torna a tutti i casi d'uso

SupportoManifattura / Automotive

Una sola partizione Kafka silenziosa può congelare tutte le finestre event-time del job

Fornitore di servizi telematici per veicoli connessi

Diagnosi delle finestre event-time che smettono di attivarsi perché una singola partizione sorgente inattiva trattiene il watermark dell'intero job.

Panoramica

Il watermark di Flink è il minimo tra tutti i canali di input, per cui una singola partizione che smette di produrre record blocca il watermark e tutte le finestre event-time a valle smettono di attivarsi. Il job appare in salute (nessuna eccezione, nessuna backpressure, i record continuano a scorrere) mentre l'output si ferma in silenzio. AceMQ diagnostica questa classe di problemi e i guasti dei watermark a essa collegati.

Sfida

I team ci perdono ore perché tutti gli indicatori di salute più ovvi sono verdi. Le varianti sono simili e fuorvianti: un topic Kafka con troppe partizioni, in cui quelle a basso traffico restano inattive di notte; un limite di out-of-orderness impostato con troppa generosità, per cui le finestre si attivano molto tempo dopo l'arrivo dei dati; una strategia di watermark per partizione applicata dopo un rebalance, con la conseguente perdita delle garanzie di ordinamento; e record in ritardo scartati senza un side output, per cui nessuno sa che mancano dei dati.

Ambiente

Job Apache Flink che consumano da Kafka o Kinesis con semantica event-time, aggregazioni a finestra e interval join.

Approccio

Gli ingegneri AceMQ confrontano le metriche del watermark corrente di ogni subtask con l'attività delle partizioni sorgente, il che rende evidente nel giro di pochi minuti uno stallo dovuto a una sorgente inattiva. Da lì la strategia di watermark viene rivista da cima a fondo: dove viene assegnata, se l'inattività è configurata e se il limite di out-of-orderness corrisponde al ritardo misurato degli eventi anziché a una stima.

Soluzione

  1. Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
  2. Confronto delle metriche del watermark per subtask con l'attività delle partizioni sorgente, per isolare l'input che causa lo stallo
  3. Configurazione di withIdleness sulla strategia di watermark, dimensionata sui periodi di inattività reali delle partizioni a basso traffico
  4. Limite di out-of-orderness ricavato dal ritardo event-time misurato anziché da un valore predefinito
  5. Assegnazione del watermark spostata nel connettore sorgente, così che l'ordinamento per partizione sopravviva a rebalance e ripartizionamenti
  6. Aggiunta di side output per i record in ritardo e di metriche sul ritardo, così che la perdita silenziosa di dati diventi visibile

Esito

Le finestre event-time bloccate riprendono ad attivarsi e la strategia di watermark sottostante smette di dipendere dal fatto che tutte le partizioni restino attive. L'aggiunta dei side output per i record in ritardo porta di solito alla luce ulteriori perdite di dati di cui il team non era a conoscenza.

Tecnologie

Apache FlinkApache KafkaKubernetes

Vi serve supporto specialistico per Apache Flink?

Gli ingegneri Apache Flink senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.