Torna a tutti i casi d'uso

ConsulenzaServizi finanziari / Pagamenti

Progettate il livello di stato prima che diventi il motivo per cui non riuscite a fare deploy

Piattaforma di rilevamento delle frodi online

Progettazione di state backend, partizionamento delle chiavi e strategia di rescaling per job Flink con stato di grandi dimensioni che devono ripartire senza ore di fermo.

Panoramica

I job Flink che mantengono centinaia di gigabyte di keyed state hanno vincoli operativi che i job piccoli non conoscono: i riavvii richiedono tempo reale, le variazioni di parallelismo impongono la redistribuzione dei savepoint e una chiave scelta male fa concentrare lo stato su pochi task manager. AceMQ progetta il livello di stato in modo che questi vincoli restino gestibili man mano che il job cresce.

Sfida

I job con stato di grandi dimensioni diventano, senza che nessuno se ne accorga, impossibili da rilasciare. Un savepoint richiede così tanto tempo che anche un deploy di routine ha bisogno di una finestra di manutenzione, per cui i deploy vengono accorpati e ciascuno comporta più rischi. Il max parallelism era rimasto al valore di default, quindi il job non può essere scalato oltre un limite fisso senza ricostruire l'intero stato. La distribuzione dei key group è sbilanciata perché la chiave presenta skew, e due task manager svolgono la maggior parte del lavoro. Il disco locale era stato dimensionato sullo stato iniziale, non su quello attuale.

Ambiente

Apache Flink su Kubernetes con state backend RocksDB, keyed state di grandi dimensioni e checkpoint o savepoint su object storage.

Approccio

AceMQ profila dimensione e distribuzione dello stato per key group e per task manager, quindi progetta a partire dai requisiti operativi: budget di tempo per il riavvio, intervallo di parallelismo previsto e cadenza degli upgrade. Max parallelism e numero di key group vengono impostati sull'intera vita prevista del job anziché sulle sue dimensioni attuali, e i percorsi di recovery vengono testati anziché dati per scontati.

Soluzione

  1. Profilazione della dimensione dello stato e della distribuzione dei key group per operatore e per task manager, per far emergere lo skew delle partizioni
  2. Max parallelism e dimensionamento dei key group impostati sull'intervallo di scaling previsto per il job, non sulle dimensioni al lancio
  3. Configurazione di RocksDB che copre managed memory, block cache, write buffer, stile di compaction e layout delle column family
  4. Dimensionamento dello storage locale e scelta della classe di disco per i working set di RocksDB e lo staging dei checkpoint
  5. Strategia di savepoint, checkpoint conservati e local recovery con budget di tempo di riavvio misurati
  6. Runbook di rescaling e upgrade validato tramite prove, inclusi i percorsi di evoluzione dello schema dello stato

Esito

I tempi di riavvio e di rescaling diventano prevedibili e contenuti, per cui i deploy non richiedono più una finestra di manutenzione. La distribuzione dello stato si riequilibra tra i task manager, eliminando i nodi sovraccarichi che limitavano il throughput.

Tecnologie

Apache FlinkRocksDBApache KafkaKubernetes

Vi servono indicazioni sull'architettura Apache Flink?

Gli ingegneri Apache Flink senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.