Visão geral
O watermark do Flink é o mínimo de todos os canais de entrada, pelo que uma única partição que deixa de produzir registos fixa o watermark e todas as janelas de event time a jusante deixam de disparar. O job parece saudável (sem exceções, sem backpressure, com registos a fluir) enquanto o output para silenciosamente. A AceMQ diagnostica esta classe de problemas e as falhas de watermark relacionadas.
Desafio
As equipas perdem horas com isto porque todos os sinais de saúde óbvios estão a verde. As variantes são parecidas e confusas: um tópico Kafka com partições a mais, em que as partições de pouco tráfego ficam inativas durante a noite; um limite de out-of-orderness demasiado generoso, que faz as janelas dispararem muito depois de os dados chegarem; uma estratégia de watermark por partição aplicada depois de um rebalance, o que faz perder as garantias de ordenação; e registos atrasados descartados sem side output, pelo que ninguém sabe que faltam dados.
Ambiente
Jobs Apache Flink que consomem de Kafka ou Kinesis com semântica de event time, agregações em janelas e interval joins.
Abordagem
Os engenheiros da AceMQ comparam as métricas de current watermark de cada subtask com a atividade das partições de origem, o que torna evidente em minutos um bloqueio causado por uma origem inativa. A partir daí, a estratégia de watermark é revista de ponta a ponta: onde é atribuída, se a inatividade está configurada e se o limite de out-of-orderness corresponde ao atraso medido dos eventos e não a um palpite.
Solução
- Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
- Comparação das métricas de watermark de cada subtask com a atividade das partições de origem para isolar a entrada que bloqueia
- Configuração de withIdleness na estratégia de watermark, dimensionada com base nos períodos reais sem tráfego das partições pouco ativas
- Limite de out-of-orderness derivado do atraso medido em event time, em vez de um valor por omissão
- Atribuição do watermark passada para o conector de origem, para que a ordenação por partição sobreviva a rebalances e reparticionamentos
- Side outputs para registos atrasados e métricas de atraso acrescentados, para que a perda silenciosa de dados se torne visível
Resultado final
As janelas de event time bloqueadas retomam e a estratégia de watermark subjacente deixa de depender de todas as partições se manterem ativas. Acrescentar side outputs para registos atrasados costuma revelar perdas de dados adicionais de que a equipa não tinha conhecimento.