Voltar para todos os casos de uso

ConsultoriaServiços financeiros / pagamentos

Desenhe a camada de estado antes que ela vire o motivo pelo qual você não consegue fazer deploy

Plataforma de detecção de fraudes online

Design de state backend, particionamento por chave e estratégia de reescalonamento para jobs Flink com estado grande que precisam reiniciar sem horas de indisponibilidade.

Visão geral

Jobs Flink com centenas de gigabytes de estado por chave têm restrições operacionais que jobs pequenos não têm: reinícios levam um tempo considerável, mudanças de paralelismo exigem redistribuir o savepoint e uma chave mal escolhida concentra o estado em poucos task managers. A AceMQ desenha a camada de estado para que essas restrições continuem gerenciáveis à medida que o job cresce.

Desafio

Jobs com estado grande se tornam, aos poucos, impossíveis de implantar. Um savepoint demora tanto que um deploy de rotina passa a exigir janela de manutenção, então os deploys são agrupados e cada um carrega mais risco. O max parallelism ficou no valor padrão, então o job não pode ser reescalonado além de um limite fixo sem reconstruir todo o estado. A distribuição dos key groups é desigual porque a chave tem skew, e dois task managers fazem a maior parte do trabalho. O disco local foi dimensionado para o estado inicial, e não para o estado atual.

Ambiente

Apache Flink em Kubernetes com state backend RocksDB, estado por chave de grande volume e checkpoints ou savepoints em armazenamento de objetos.

Abordagem

A AceMQ mede o tamanho e a distribuição do estado por key group e por task manager e, depois, desenha a solução em torno dos requisitos operacionais: orçamento de tempo de reinício, faixa de paralelismo esperada e cadência de upgrades. O max parallelism e o número de key groups são definidos para a vida útil esperada do job, e não para o seu tamanho atual, e os caminhos de recuperação são testados, e não presumidos.

Solução

  1. Análise do tamanho do estado e da distribuição de key groups por operador e por task manager, para expor o skew de particionamento
  2. Dimensionamento do max parallelism e dos key groups para a faixa de escalabilidade esperada do job, e não para o tamanho no lançamento
  3. Configuração do RocksDB cobrindo managed memory, block cache, write buffers, estilo de compaction e layout das column families
  4. Dimensionamento do armazenamento local e escolha da classe de disco para os working sets do RocksDB e o staging de checkpoints
  5. Estratégia de savepoints, checkpoints retidos e recuperação local, com orçamentos de tempo de reinício medidos
  6. Runbook de reescalonamento e upgrade validado em ensaio, incluindo os caminhos de evolução do schema de estado

Resultado obtido

Os tempos de reinício e de reescalonamento se tornam previsíveis e limitados, então os deploys deixam de exigir janela de manutenção. A distribuição do estado se equilibra entre os task managers, o que elimina o comportamento de nó quente que vinha limitando o throughput.

Tecnologias

Apache FlinkRocksDBApache KafkaKubernetes

Precisa de orientação de arquitetura para Apache Flink?

Os engenheiros Apache Flink sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.