Voltar a todos os casos de utilização

AvaliaçãoEnergia / Utilities

Decidir se a carga de trabalho precisa mesmo de Flink antes de montar uma equipa de Flink

Fornecedor de tecnologia para redes elétricas inteligentes

Avaliação de se uma carga de trabalho de streaming proposta deve correr em Flink e de quanto vão custar, na realidade, os requisitos de exactly-once, de estado e operacionais.

Visão geral

O Flink é a resposta certa para processamento de streams com estado, semântica de event-time e garantias de exactly-once, e uma resposta cara para transformações sem estado que um consumer mais simples resolveria. A AceMQ avalia a carga de trabalho face ao que o Flink exige de facto em termos operacionais e apresenta uma recomendação com dimensionamento.

Desafio

Os projetos de streaming são definidos com base em números de débito e ignoram os requisitos que determinam o custo: se o exactly-once ponta a ponta é mesmo necessário e se os sinks o suportam, quanto estado por chave a lógica implica com a cardinalidade de produção, que atraso de event-time os sistemas a montante produzem de facto e se a equipa consegue operar checkpointing, savepoints e reescalonamento. São essas decisões que determinam se a plataforma é sustentável.

Ambiente

Plataformas de streaming novas ou em expansão em Kubernetes, com origens Kafka ou Redpanda e uma combinação de sinks analíticos e operacionais.

Abordagem

A AceMQ parte dos requisitos de processamento reais — semântica, cardinalidade do estado, tolerância a atrasos e garantias de entrega — e não apenas do débito. Onde o Flink se adequa, dimensionamos o cluster e a camada de estado e definimos o modelo operacional. Onde não se adequa, dizemo-lo e identificamos o componente mais simples que serve.

Solução

  1. Classificação das cargas de trabalho, separando o processamento com estado em event-time das transformações sem estado que não precisam de Flink
  2. Modelação da cardinalidade do estado com o volume de chaves de produção e a pegada de memória e de disco daí resultante
  3. Revisão da semântica de entrega, cobrindo o replay das origens, a idempotência dos sinks e a existência do suporte a sinks transacionais exigido pelo exactly-once
  4. Medição do atraso de event-time com dados reais a montante, para definir os parâmetros de watermarks e janelas
  5. Dimensionamento do cluster quanto ao número de task managers, slots, buffers de rede e débito do armazenamento de checkpoints
  6. Definição do modelo operacional, cobrindo o modo de implementação, a política de savepoints, o processo de atualização e os alertas de que a equipa precisa para o operar

Resultado final

Os clientes obtêm, para cada carga de trabalho, uma decisão fundamentada entre construir ou evitar, com um dimensionamento que reflete os requisitos reais de estado e de semântica. Várias cargas de trabalho passam normalmente para um consumer mais simples, o que reduz a superfície operacional que a equipa tem de assegurar.

Tecnologias

Apache FlinkApache KafkaKubernetesRedpanda

Pronto para um health check ao Apache Flink?

Os engenheiros seniores de Apache Flink da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.