Descripción general
El watermark de Flink es el mínimo entre todos los canales de entrada, así que una sola partición que deja de producir registros fija el watermark y todas las ventanas de event time posteriores dejan de dispararse. El job parece sano (sin excepciones, sin backpressure y con registros que siguen fluyendo) mientras la salida se detiene en silencio. AceMQ diagnostica este tipo de problema y las fallas de watermark relacionadas.
Desafío
Los equipos pierden horas con esto porque todas las señales de salud evidentes están en verde. Las variantes son parecidas y confusas: un topic de Kafka con demasiadas particiones, en el que las de poco tráfico quedan inactivas durante la noche; un límite de out-of-orderness demasiado generoso, por lo que las ventanas se disparan mucho después de que llegaron los datos; una estrategia de watermark por partición aplicada después de un rebalanceo, con lo que se pierden las garantías de orden; y registros tardíos descartados sin un side output, de modo que nadie se entera de que faltan datos.
Entorno
Jobs de Apache Flink que consumen desde Kafka o Kinesis con semántica de event time, agregaciones con ventanas e interval joins.
Enfoque
Los ingenieros de AceMQ comparan la métrica del watermark actual de cada subtarea con la actividad de las particiones de origen, lo que deja en evidencia en cuestión de minutos que el bloqueo viene de un origen inactivo. A partir de ahí se revisa la estrategia de watermark de punta a punta: dónde se asigna, si la inactividad está configurada y si el límite de out-of-orderness corresponde al retraso medido de los eventos y no a una suposición.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7 y sin triaje de nivel 1
- Comparación de las métricas de watermark por subtarea con la actividad de las particiones de origen para aislar la entrada que provoca el bloqueo
- Configuración de withIdleness en la estrategia de watermark, dimensionada según los periodos reales sin actividad de las particiones de poco tráfico
- Límite de out-of-orderness calculado a partir del retraso de event time medido y no de un valor predeterminado
- Asignación de watermarks trasladada al conector de origen para que el orden por partición sobreviva a los rebalanceos y al reparticionamiento
- Side outputs para registros tardíos y métricas de retraso agregados para que la pérdida silenciosa de datos se vuelva visible
Resultado final
Las ventanas de event time bloqueadas se reanudan y la estrategia de watermark de fondo deja de depender de que todas las particiones se mantengan activas. Agregar side outputs para registros tardíos suele revelar pérdidas de datos adicionales que el equipo desconocía.