Panoramica
Flink è la risposta giusta per lo stream processing con stato, semantica event-time e garanzie exactly-once, e una risposta costosa per trasformazioni senza stato che un consumer più semplice gestirebbe. AceMQ valuta il carico rispetto a ciò che Flink richiede davvero a livello operativo e presenta una raccomandazione con il relativo dimensionamento.
Sfida
I progetti di streaming vengono stimati sui numeri di throughput, trascurando i requisiti che determinano i costi: se l'exactly-once end-to-end sia davvero necessario e se i sink siano in grado di supportarlo, quanto keyed state implichi la logica con la cardinalità di produzione, quale ritardo event-time producano effettivamente i sistemi a monte e se il team sia in grado di gestire checkpointing, savepoint e rescaling. Sono queste decisioni a stabilire se la piattaforma sia sostenibile.
Ambiente
Piattaforme di streaming nuove o in espansione su Kubernetes, con sorgenti Kafka o Redpanda e sink sia analitici sia operativi.
Approccio
AceMQ parte dai requisiti di elaborazione reali (semantica, cardinalità dello stato, tolleranza al ritardo e garanzie di consegna) anziché dal solo throughput. Dove Flink è adatto, dimensioniamo il cluster e il livello di stato e definiamo il modello operativo. Dove non lo è, lo diciamo e indichiamo il componente più semplice che fa al caso.
Soluzione
- Classificazione dei carichi per separare l'elaborazione event-time con stato dalle trasformazioni senza stato che non hanno bisogno di Flink
- Modellazione della cardinalità dello stato con i volumi di chiavi di produzione, con il conseguente ingombro di memoria e disco
- Revisione della semantica di consegna su replay delle sorgenti, idempotenza dei sink ed esistenza del supporto transazionale nei sink necessario all'exactly-once
- Misurazione del ritardo event-time sui dati reali a monte per impostare i parametri di watermark e finestre
- Dimensionamento del cluster su numero di task manager, slot, network buffer e throughput dello storage dei checkpoint
- Definizione del modello operativo: modalità di deployment, policy dei savepoint, processo di aggiornamento e alerting necessario al team per gestirlo
Esito
I clienti ottengono per ogni carico una decisione motivata su se costruire o evitare, con un dimensionamento che riflette i reali requisiti di stato e di semantica. Di solito diversi carichi passano a un consumer più semplice, riducendo la superficie operativa che il team deve presidiare.