Torna a tutti i casi d'uso

RemediationServizi finanziari / Pagamenti

Spezzare il circolo in cui la backpressure fa fallire i checkpoint e i checkpoint falliti peggiorano la backpressure

Processore di pagamenti globale

Risoluzione dei timeout dei checkpoint sotto backpressure, quando lo stato RocksDB è cresciuto oltre ciò che l'intervallo di checkpoint configurato riesce ad assorbire.

Panoramica

Un job Flink sotto backpressure sostenuta non riesce a far attraversare in tempo la pipeline alle barrier, per cui i checkpoint scadono. Ogni scadenza significa più stato da scrivere al tentativo successivo, finché il job riparte da un checkpoint vecchio e riprocessa abbastanza dati da garantire il fallimento successivo. AceMQ spezza questo circolo e interviene sulla crescita dello stato che ne è alla base.

Sfida

Il sintomo visibile è un fallimento dei checkpoint settimanale o notturno che degenera in un loop di riavvii. Sotto la superficie si sommano diversi fattori: un operator con keyed state in crescita il cui working set RocksDB non rientra più nel budget di managed memory, barrier allineate bloccate dietro un sink lento, e intervallo e timeout dei checkpoint scelti quando lo stato era una frazione delle dimensioni attuali. Aumentare solo il timeout sposta il problema invece di eliminarlo.

Ambiente

Apache Flink su Kubernetes o YARN con state backend RocksDB, checkpoint su S3 o HDFS e consumo da Kafka.

Approccio

AceMQ scompone la durata dei checkpoint nelle fasi sincrona, asincrona e di allineamento, a partire dalla Flink UI e dalle metriche, per capire se il costo dipenda dalle dimensioni dello stato, dall'allineamento delle barrier o dal filesystem remoto. La backpressure viene ricondotta allo specifico operator o sink che la causa. La remediation interviene quindi su quella fase: unaligned checkpoint e checkpoint incrementali per il costo di allineamento, tuning della memoria e della compaction di RocksDB per il costo dello stato e state TTL dove lo stato non sarebbe mai dovuto crescere così tanto.

Soluzione

  1. Durata dei checkpoint scomposta nelle fasi sync, async e di allineamento per individuare il vincolo reale
  2. Backpressure ricondotta allo specifico operator o sink che blocca la propagazione delle barrier
  3. Unaligned checkpoint e buffer debloating abilitati dove prevale l'allineamento dietro operator lenti
  4. Checkpoint incrementali con managed memory, block cache e dimensionamento dei write buffer di RocksDB corretti in base alle dimensioni attuali dello stato
  5. State TTL e policy di cleanup applicati al keyed state che si accumula senza limiti
  6. Intervallo, timeout e pausa minima dei checkpoint ritarati sulla durata misurata, con la restart strategy regolata per interrompere i loop di riprocessamento

Esito

Il fallimento ricorrente dei checkpoint viene eliminato e la loro durata torna in un intervallo stabile, con margine rispetto all'intervallo configurato. I job smettono di entrare in loop di riavvii, perché un singolo checkpoint lento non garantisce più il fallimento del successivo.

Tecnologie

Apache FlinkApache KafkaRocksDBKubernetes

Avete un problema di produzione su Apache Flink?

Gli ingegneri Apache Flink senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.