Visão geral
O Flink é a resposta certa para processamento de streams com estado, semântica de event-time e garantias de exactly-once, e uma resposta cara para transformações sem estado que um consumer mais simples resolveria. A AceMQ avalia a carga de trabalho face ao que o Flink exige de facto em termos operacionais e apresenta uma recomendação com dimensionamento.
Desafio
Os projetos de streaming são definidos com base em números de débito e ignoram os requisitos que determinam o custo: se o exactly-once ponta a ponta é mesmo necessário e se os sinks o suportam, quanto estado por chave a lógica implica com a cardinalidade de produção, que atraso de event-time os sistemas a montante produzem de facto e se a equipa consegue operar checkpointing, savepoints e reescalonamento. São essas decisões que determinam se a plataforma é sustentável.
Ambiente
Plataformas de streaming novas ou em expansão em Kubernetes, com origens Kafka ou Redpanda e uma combinação de sinks analíticos e operacionais.
Abordagem
A AceMQ parte dos requisitos de processamento reais — semântica, cardinalidade do estado, tolerância a atrasos e garantias de entrega — e não apenas do débito. Onde o Flink se adequa, dimensionamos o cluster e a camada de estado e definimos o modelo operacional. Onde não se adequa, dizemo-lo e identificamos o componente mais simples que serve.
Solução
- Classificação das cargas de trabalho, separando o processamento com estado em event-time das transformações sem estado que não precisam de Flink
- Modelação da cardinalidade do estado com o volume de chaves de produção e a pegada de memória e de disco daí resultante
- Revisão da semântica de entrega, cobrindo o replay das origens, a idempotência dos sinks e a existência do suporte a sinks transacionais exigido pelo exactly-once
- Medição do atraso de event-time com dados reais a montante, para definir os parâmetros de watermarks e janelas
- Dimensionamento do cluster quanto ao número de task managers, slots, buffers de rede e débito do armazenamento de checkpoints
- Definição do modelo operacional, cobrindo o modo de implementação, a política de savepoints, o processo de atualização e os alertas de que a equipa precisa para o operar
Resultado final
Os clientes obtêm, para cada carga de trabalho, uma decisão fundamentada entre construir ou evitar, com um dimensionamento que reflete os requisitos reais de estado e de semântica. Várias cargas de trabalho passam normalmente para um consumer mais simples, o que reduz a superfície operacional que a equipa tem de assegurar.