Voltar para todos os casos de uso

AvaliaçãoEnergia / serviços públicos

Decida se a carga realmente precisa do Flink antes de montar uma equipe de Flink

Fornecedor de tecnologia para redes elétricas inteligentes

Avaliação de se uma carga de streaming proposta deve rodar no Flink e de quanto realmente vão custar os requisitos de exactly-once, de estado e de operação.

Visão geral

O Flink é a resposta certa para stream processing com estado, semântica de event time e garantias exactly-once, e uma resposta cara para transformações sem estado que um consumidor mais simples resolveria. A AceMQ avalia a carga em relação ao que o Flink realmente exige em termos operacionais e apresenta uma recomendação com dimensionamento.

Desafio

Os projetos de streaming costumam ser dimensionados com base em números de throughput e deixam de lado os requisitos que definem o custo: se o exactly-once de ponta a ponta é realmente necessário e se os sinks conseguem suportá-lo, quanto keyed state a lógica implica com a cardinalidade de produção, qual atraso de event time os sistemas upstream realmente produzem e se a equipe consegue operar checkpointing, savepoints e reescalonamento. São essas decisões que determinam se a plataforma é sustentável.

Ambiente

Plataformas de streaming novas ou em expansão no Kubernetes, com origens Kafka ou Redpanda e sinks analíticos e operacionais combinados.

Abordagem

A AceMQ trabalha a partir dos requisitos reais de processamento (semântica, cardinalidade do estado, tolerância a atrasos e garantias de entrega), e não apenas do throughput. Quando o Flink se encaixa, dimensionamos o cluster e a camada de estado e definimos o modelo operacional. Quando não se encaixa, dizemos isso e indicamos o componente mais simples que resolve.

Solução

  1. Classificação das cargas, separando o processamento com estado baseado em event time das transformações sem estado que não precisam do Flink
  2. Modelagem da cardinalidade do estado com o volume de chaves de produção e o consumo de memória e disco resultante
  3. Revisão da semântica de entrega, cobrindo replay na origem, idempotência nos sinks e se existe o suporte a sinks transacionais exigido pelo exactly-once
  4. Medição do atraso de event time com dados upstream reais para definir os parâmetros de watermark e de janelas
  5. Dimensionamento do cluster: número de task managers, slots, network buffers e throughput do storage de checkpoints
  6. Definição do modelo operacional, cobrindo modo de implantação, política de savepoints, processo de upgrade e os alertas de que a equipe precisa para operá-lo

Resultado obtido

Os clientes recebem, para cada carga, uma decisão defensável entre construir no Flink ou evitá-lo, com um dimensionamento que reflete os requisitos reais de estado e de semântica. Várias cargas costumam migrar para um consumidor mais simples, o que reduz a superfície operacional que a equipe precisa cobrir.

Tecnologias

Apache FlinkApache KafkaKubernetesRedpanda

Pronto para um health check do Apache Flink?

Os engenheiros Apache Flink sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.