Panoramica
Un job Flink sotto backpressure sostenuta non riesce a far attraversare in tempo la pipeline alle barrier, per cui i checkpoint scadono. Ogni scadenza significa più stato da scrivere al tentativo successivo, finché il job riparte da un checkpoint vecchio e riprocessa abbastanza dati da garantire il fallimento successivo. AceMQ spezza questo circolo e interviene sulla crescita dello stato che ne è alla base.
Sfida
Il sintomo visibile è un fallimento dei checkpoint settimanale o notturno che degenera in un loop di riavvii. Sotto la superficie si sommano diversi fattori: un operator con keyed state in crescita il cui working set RocksDB non rientra più nel budget di managed memory, barrier allineate bloccate dietro un sink lento, e intervallo e timeout dei checkpoint scelti quando lo stato era una frazione delle dimensioni attuali. Aumentare solo il timeout sposta il problema invece di eliminarlo.
Ambiente
Apache Flink su Kubernetes o YARN con state backend RocksDB, checkpoint su S3 o HDFS e consumo da Kafka.
Approccio
AceMQ scompone la durata dei checkpoint nelle fasi sincrona, asincrona e di allineamento, a partire dalla Flink UI e dalle metriche, per capire se il costo dipenda dalle dimensioni dello stato, dall'allineamento delle barrier o dal filesystem remoto. La backpressure viene ricondotta allo specifico operator o sink che la causa. La remediation interviene quindi su quella fase: unaligned checkpoint e checkpoint incrementali per il costo di allineamento, tuning della memoria e della compaction di RocksDB per il costo dello stato e state TTL dove lo stato non sarebbe mai dovuto crescere così tanto.
Soluzione
- Durata dei checkpoint scomposta nelle fasi sync, async e di allineamento per individuare il vincolo reale
- Backpressure ricondotta allo specifico operator o sink che blocca la propagazione delle barrier
- Unaligned checkpoint e buffer debloating abilitati dove prevale l'allineamento dietro operator lenti
- Checkpoint incrementali con managed memory, block cache e dimensionamento dei write buffer di RocksDB corretti in base alle dimensioni attuali dello stato
- State TTL e policy di cleanup applicati al keyed state che si accumula senza limiti
- Intervallo, timeout e pausa minima dei checkpoint ritarati sulla durata misurata, con la restart strategy regolata per interrompere i loop di riprocessamento
Esito
Il fallimento ricorrente dei checkpoint viene eliminato e la loro durata torna in un intervallo stabile, con margine rispetto all'intervallo configurato. I job smettono di entrare in loop di riavvii, perché un singolo checkpoint lento non garantisce più il fallimento del successivo.