Voltar para todos os casos de uso

CorreçãoServiços financeiros / pagamentos

Quebrar o ciclo em que o backpressure faz os checkpoints falharem e os checkpoints com falha pioram o backpressure

Processadora global de pagamentos

Resolução de timeouts de checkpoint sob backpressure, quando o estado no RocksDB cresceu além do que o intervalo de checkpoint configurado consegue absorver.

Visão geral

Um job Flink sob backpressure contínuo não consegue fazer as barriers atravessarem o pipeline a tempo, então os checkpoints expiram. Cada expiração significa mais estado a gravar na tentativa seguinte e, no fim, o job reinicia a partir de um checkpoint antigo e reprocessa dados suficientes para garantir a próxima falha. A AceMQ quebra esse ciclo e trata o crescimento de estado que está por trás dele.

Desafio

O sintoma visível é uma falha de checkpoint semanal ou noturna que evolui para um loop de reinicializações. Por trás disso, vários fatores se somam: um operador com keyed state crescente cujo working set no RocksDB não cabe mais no orçamento de managed memory, barriers alinhadas travadas atrás de um sink lento e um intervalo e timeout de checkpoint definidos quando o estado tinha uma fração do tamanho atual. Aumentar apenas o timeout desloca a falha em vez de eliminá-la.

Ambiente

Apache Flink no Kubernetes ou no YARN com state backend RocksDB, checkpoints em S3 ou HDFS, consumindo do Kafka.

Abordagem

A AceMQ decompõe a duração do checkpoint nas fases síncrona, assíncrona e de alinhamento a partir da interface do Flink e das métricas, o que mostra se o custo está no tamanho do estado, no alinhamento das barriers ou no sistema de arquivos remoto. O backpressure é rastreado até o operador ou sink específico que o causa. A correção então ataca essa fase: unaligned checkpoints e checkpointing incremental para o custo de alinhamento, ajuste de memória e compactação do RocksDB para o custo de estado, e state TTL onde o estado nunca deveria ter crescido tanto.

Solução

  1. Decomposição da duração do checkpoint nas fases síncrona, assíncrona e de alinhamento para identificar a restrição real
  2. Rastreamento do backpressure até o operador ou sink específico que trava a propagação das barriers
  3. Ativação de unaligned checkpoints e de buffer debloating onde predomina o alinhamento atrás de operadores lentos
  4. Checkpointing incremental com o dimensionamento da managed memory, do block cache e dos write buffers do RocksDB corrigido para o tamanho atual do estado
  5. Aplicação de state TTL e de uma política de limpeza ao keyed state que se acumula sem limite
  6. Novo ajuste do intervalo, do timeout e da pausa mínima entre checkpoints com base na duração medida, com a estratégia de restart ajustada para interromper os loops de reprocessamento

Resultado obtido

A falha recorrente de checkpoint é eliminada, e a duração dos checkpoints volta a uma faixa estável, com folga em relação ao intervalo. Os jobs deixam de entrar em loops de reinicialização, porque um único checkpoint lento não garante mais que o próximo vá falhar.

Tecnologias

Apache FlinkApache KafkaRocksDBKubernetes

Enfrentando um problema de produção com Apache Flink?

Os engenheiros Apache Flink sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.