Volver a todos los casos de uso

SoporteFabricación / Automoción

Una sola partición de Kafka sin actividad puede congelar todas las ventanas de tiempo de evento del job

Proveedor de telemática para vehículos conectados

Diagnóstico de ventanas de tiempo de evento que dejan de dispararse porque una sola partición de origen inactiva frena el watermark de todo el job.

Descripción general

El watermark de Flink es el mínimo de todos los canales de entrada, así que una sola partición que deja de producir registros fija el watermark y todas las ventanas de tiempo de evento aguas abajo dejan de dispararse. El job parece sano (sin excepciones, sin backpressure y con registros que siguen fluyendo) mientras la salida se detiene sin avisar. AceMQ diagnostica este tipo de problema y los fallos de watermark relacionados.

Reto

Los equipos pierden horas con esto porque todas las señales de salud evidentes están en verde. Las variantes son parecidas y confusas: un topic de Kafka con demasiadas particiones en el que las de poco tráfico quedan inactivas por la noche, un límite de desorden (out-of-orderness) tan holgado que las ventanas se disparan mucho después de que lleguen los datos, una estrategia de watermark por partición aplicada después de un rebalanceo, con lo que se pierden las garantías de orden, y registros tardíos que se descartan sin una side output, de modo que nadie sabe que faltan datos.

Entorno

Jobs de Apache Flink que consumen de Kafka o Kinesis con semántica de tiempo de evento, agregaciones por ventanas e interval joins.

Enfoque

Los ingenieros de AceMQ comparan las métricas del watermark actual por subtarea con la actividad de las particiones de origen, lo que deja en evidencia en cuestión de minutos un bloqueo por una fuente inactiva. A partir de ahí se revisa la estrategia de watermark de principio a fin: dónde se asigna, si la inactividad está configurada y si el límite de desorden se corresponde con el retraso de los eventos medido en lugar de con una estimación.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Comparación de las métricas de watermark por subtarea con la actividad de las particiones de origen para aislar la entrada que provoca el bloqueo
  3. Configuración de withIdleness en la estrategia de watermark, dimensionada según los periodos reales de inactividad de las particiones con poco tráfico
  4. Límite de desorden calculado a partir del retraso medido en tiempo de evento en lugar de un valor por defecto
  5. Asignación del watermark trasladada al conector de origen para que el orden por partición sobreviva al rebalanceo y al reparticionado
  6. Side outputs para registros tardíos y métricas de retraso añadidas para que la pérdida silenciosa de datos sea visible

Resultado final

Las ventanas de tiempo de evento bloqueadas se reanudan y la estrategia de watermark subyacente deja de depender de que todas las particiones se mantengan activas. Añadir side outputs para registros tardíos suele sacar a la luz pérdidas de datos adicionales que el equipo desconocía.

Tecnologías

Apache FlinkApache KafkaKubernetes

¿Necesita soporte experto de Apache Flink?

Los ingenieros sénior de Apache Flink de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.