Voltar a todos os casos de utilização

SuporteProdução / Automóvel

Uma única partição Kafka sem tráfego pode congelar todas as janelas de event time do job

Fornecedor de telemática para veículos conectados

Diagnóstico de janelas de event time que deixam de disparar porque uma única partição de origem inativa retém o watermark de todo o job.

Visão geral

O watermark do Flink é o mínimo de todos os canais de entrada, pelo que uma única partição que deixa de produzir registos fixa o watermark e todas as janelas de event time a jusante deixam de disparar. O job parece saudável (sem exceções, sem backpressure, com registos a fluir) enquanto o output para silenciosamente. A AceMQ diagnostica esta classe de problemas e as falhas de watermark relacionadas.

Desafio

As equipas perdem horas com isto porque todos os sinais de saúde óbvios estão a verde. As variantes são parecidas e confusas: um tópico Kafka com partições a mais, em que as partições de pouco tráfego ficam inativas durante a noite; um limite de out-of-orderness demasiado generoso, que faz as janelas dispararem muito depois de os dados chegarem; uma estratégia de watermark por partição aplicada depois de um rebalance, o que faz perder as garantias de ordenação; e registos atrasados descartados sem side output, pelo que ninguém sabe que faltam dados.

Ambiente

Jobs Apache Flink que consomem de Kafka ou Kinesis com semântica de event time, agregações em janelas e interval joins.

Abordagem

Os engenheiros da AceMQ comparam as métricas de current watermark de cada subtask com a atividade das partições de origem, o que torna evidente em minutos um bloqueio causado por uma origem inativa. A partir daí, a estratégia de watermark é revista de ponta a ponta: onde é atribuída, se a inatividade está configurada e se o limite de out-of-orderness corresponde ao atraso medido dos eventos e não a um palpite.

Solução

  1. Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
  2. Comparação das métricas de watermark de cada subtask com a atividade das partições de origem para isolar a entrada que bloqueia
  3. Configuração de withIdleness na estratégia de watermark, dimensionada com base nos períodos reais sem tráfego das partições pouco ativas
  4. Limite de out-of-orderness derivado do atraso medido em event time, em vez de um valor por omissão
  5. Atribuição do watermark passada para o conector de origem, para que a ordenação por partição sobreviva a rebalances e reparticionamentos
  6. Side outputs para registos atrasados e métricas de atraso acrescentados, para que a perda silenciosa de dados se torne visível

Resultado final

As janelas de event time bloqueadas retomam e a estratégia de watermark subjacente deixa de depender de todas as partições se manterem ativas. Acrescentar side outputs para registos atrasados costuma revelar perdas de dados adicionais de que a equipa não tinha conhecimento.

Tecnologias

Apache FlinkApache KafkaKubernetes

Precisa de suporte Apache Flink especializado?

Os engenheiros seniores de Apache Flink da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.