Visão geral
O Flink é a resposta certa para stream processing com estado, semântica de event time e garantias exactly-once, e uma resposta cara para transformações sem estado que um consumidor mais simples resolveria. A AceMQ avalia a carga em relação ao que o Flink realmente exige em termos operacionais e apresenta uma recomendação com dimensionamento.
Desafio
Os projetos de streaming costumam ser dimensionados com base em números de throughput e deixam de lado os requisitos que definem o custo: se o exactly-once de ponta a ponta é realmente necessário e se os sinks conseguem suportá-lo, quanto keyed state a lógica implica com a cardinalidade de produção, qual atraso de event time os sistemas upstream realmente produzem e se a equipe consegue operar checkpointing, savepoints e reescalonamento. São essas decisões que determinam se a plataforma é sustentável.
Ambiente
Plataformas de streaming novas ou em expansão no Kubernetes, com origens Kafka ou Redpanda e sinks analíticos e operacionais combinados.
Abordagem
A AceMQ trabalha a partir dos requisitos reais de processamento (semântica, cardinalidade do estado, tolerância a atrasos e garantias de entrega), e não apenas do throughput. Quando o Flink se encaixa, dimensionamos o cluster e a camada de estado e definimos o modelo operacional. Quando não se encaixa, dizemos isso e indicamos o componente mais simples que resolve.
Solução
- Classificação das cargas, separando o processamento com estado baseado em event time das transformações sem estado que não precisam do Flink
- Modelagem da cardinalidade do estado com o volume de chaves de produção e o consumo de memória e disco resultante
- Revisão da semântica de entrega, cobrindo replay na origem, idempotência nos sinks e se existe o suporte a sinks transacionais exigido pelo exactly-once
- Medição do atraso de event time com dados upstream reais para definir os parâmetros de watermark e de janelas
- Dimensionamento do cluster: número de task managers, slots, network buffers e throughput do storage de checkpoints
- Definição do modelo operacional, cobrindo modo de implantação, política de savepoints, processo de upgrade e os alertas de que a equipe precisa para operá-lo
Resultado obtido
Os clientes recebem, para cada carga, uma decisão defensável entre construir no Flink ou evitá-lo, com um dimensionamento que reflete os requisitos reais de estado e de semântica. Várias cargas costumam migrar para um consumidor mais simples, o que reduz a superfície operacional que a equipe precisa cobrir.