Voltar para todos os casos de uso

SuporteManufatura / automotivo

Uma única partição Kafka parada pode congelar todas as janelas de event time do job

Provedor de telemática para veículos conectados

Diagnóstico de janelas de event time que param de disparar porque uma única partição de origem ociosa segura o watermark de todo o job.

Visão geral

O watermark do Flink é o mínimo entre todos os canais de entrada, então uma única partição que para de produzir registros prende o watermark, e todas as janelas de event time a jusante param de disparar. O job parece saudável (sem exceções, sem backpressure, registros ainda fluindo) enquanto a saída para em silêncio. A AceMQ diagnostica esse tipo de problema e as falhas de watermark relacionadas.

Desafio

As equipes perdem horas com isso porque todos os sinais óbvios de saúde estão verdes. As variações são parecidas e confusas: um tópico Kafka com partições demais, em que as partições de pouco tráfego ficam ociosas durante a noite; um limite de out-of-orderness generoso demais, que faz as janelas dispararem muito depois de os dados chegarem; uma estratégia de watermark por partição aplicada depois de um rebalance, o que faz perder as garantias de ordenação; e registros atrasados descartados sem side output, de modo que ninguém sabe que há dados faltando.

Ambiente

Jobs Apache Flink que consomem de Kafka ou Kinesis com semântica de event time, agregações em janelas e interval joins.

Abordagem

Os engenheiros da AceMQ comparam as métricas de watermark atual por subtask com a atividade das partições de origem, o que deixa evidente em minutos um travamento causado por uma origem ociosa. A partir daí, a estratégia de watermark é revisada de ponta a ponta: onde ela é atribuída, se a ociosidade está configurada e se o limite de out-of-orderness corresponde ao atraso medido dos eventos, e não a um palpite.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem nível 1
  2. Comparação das métricas de watermark por subtask com a atividade das partições de origem, para isolar a entrada que está travando
  3. Configuração de withIdleness na estratégia de watermark, dimensionada pelos períodos reais de inatividade das partições de pouco tráfego
  4. Limite de out-of-orderness definido a partir do atraso medido em event time, e não de um valor padrão
  5. Atribuição do watermark movida para o conector de origem, para que a ordenação por partição sobreviva a rebalances e reparticionamentos
  6. Side outputs para registros atrasados e métricas de atraso adicionados, para que a perda silenciosa de dados fique visível

Resultado obtido

As janelas de event time travadas voltam a disparar, e a estratégia de watermark deixa de depender de todas as partições se manterem ativas. A inclusão de side outputs para registros atrasados normalmente revela outras perdas de dados que a equipe desconhecia.

Tecnologias

Apache FlinkApache KafkaKubernetes

Precisa de suporte especializado em Apache Flink?

Os engenheiros Apache Flink sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.