Visão geral
O watermark do Flink é o mínimo entre todos os canais de entrada, então uma única partição que para de produzir registros prende o watermark, e todas as janelas de event time a jusante param de disparar. O job parece saudável (sem exceções, sem backpressure, registros ainda fluindo) enquanto a saída para em silêncio. A AceMQ diagnostica esse tipo de problema e as falhas de watermark relacionadas.
Desafio
As equipes perdem horas com isso porque todos os sinais óbvios de saúde estão verdes. As variações são parecidas e confusas: um tópico Kafka com partições demais, em que as partições de pouco tráfego ficam ociosas durante a noite; um limite de out-of-orderness generoso demais, que faz as janelas dispararem muito depois de os dados chegarem; uma estratégia de watermark por partição aplicada depois de um rebalance, o que faz perder as garantias de ordenação; e registros atrasados descartados sem side output, de modo que ninguém sabe que há dados faltando.
Ambiente
Jobs Apache Flink que consomem de Kafka ou Kinesis com semântica de event time, agregações em janelas e interval joins.
Abordagem
Os engenheiros da AceMQ comparam as métricas de watermark atual por subtask com a atividade das partições de origem, o que deixa evidente em minutos um travamento causado por uma origem ociosa. A partir daí, a estratégia de watermark é revisada de ponta a ponta: onde ela é atribuída, se a ociosidade está configurada e se o limite de out-of-orderness corresponde ao atraso medido dos eventos, e não a um palpite.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem nível 1
- Comparação das métricas de watermark por subtask com a atividade das partições de origem, para isolar a entrada que está travando
- Configuração de withIdleness na estratégia de watermark, dimensionada pelos períodos reais de inatividade das partições de pouco tráfego
- Limite de out-of-orderness definido a partir do atraso medido em event time, e não de um valor padrão
- Atribuição do watermark movida para o conector de origem, para que a ordenação por partição sobreviva a rebalances e reparticionamentos
- Side outputs para registros atrasados e métricas de atraso adicionados, para que a perda silenciosa de dados fique visível
Resultado obtido
As janelas de event time travadas voltam a disparar, e a estratégia de watermark deixa de depender de todas as partições se manterem ativas. A inclusão de side outputs para registros atrasados normalmente revela outras perdas de dados que a equipe desconhecia.