Visão geral
Um job Flink sob backpressure contínuo não consegue fazer as barriers atravessarem o pipeline a tempo, então os checkpoints expiram. Cada expiração significa mais estado a gravar na tentativa seguinte e, no fim, o job reinicia a partir de um checkpoint antigo e reprocessa dados suficientes para garantir a próxima falha. A AceMQ quebra esse ciclo e trata o crescimento de estado que está por trás dele.
Desafio
O sintoma visível é uma falha de checkpoint semanal ou noturna que evolui para um loop de reinicializações. Por trás disso, vários fatores se somam: um operador com keyed state crescente cujo working set no RocksDB não cabe mais no orçamento de managed memory, barriers alinhadas travadas atrás de um sink lento e um intervalo e timeout de checkpoint definidos quando o estado tinha uma fração do tamanho atual. Aumentar apenas o timeout desloca a falha em vez de eliminá-la.
Ambiente
Apache Flink no Kubernetes ou no YARN com state backend RocksDB, checkpoints em S3 ou HDFS, consumindo do Kafka.
Abordagem
A AceMQ decompõe a duração do checkpoint nas fases síncrona, assíncrona e de alinhamento a partir da interface do Flink e das métricas, o que mostra se o custo está no tamanho do estado, no alinhamento das barriers ou no sistema de arquivos remoto. O backpressure é rastreado até o operador ou sink específico que o causa. A correção então ataca essa fase: unaligned checkpoints e checkpointing incremental para o custo de alinhamento, ajuste de memória e compactação do RocksDB para o custo de estado, e state TTL onde o estado nunca deveria ter crescido tanto.
Solução
- Decomposição da duração do checkpoint nas fases síncrona, assíncrona e de alinhamento para identificar a restrição real
- Rastreamento do backpressure até o operador ou sink específico que trava a propagação das barriers
- Ativação de unaligned checkpoints e de buffer debloating onde predomina o alinhamento atrás de operadores lentos
- Checkpointing incremental com o dimensionamento da managed memory, do block cache e dos write buffers do RocksDB corrigido para o tamanho atual do estado
- Aplicação de state TTL e de uma política de limpeza ao keyed state que se acumula sem limite
- Novo ajuste do intervalo, do timeout e da pausa mínima entre checkpoints com base na duração medida, com a estratégia de restart ajustada para interromper os loops de reprocessamento
Resultado obtido
A falha recorrente de checkpoint é eliminada, e a duração dos checkpoints volta a uma faixa estável, com folga em relação ao intervalo. Os jobs deixam de entrar em loops de reinicialização, porque um único checkpoint lento não garante mais que o próximo vá falhar.