Descripción general
Un job de Flink sometido a un backpressure sostenido no consigue que las barreras recorran su pipeline a tiempo, así que los checkpoints caducan. Cada caducidad supone más estado que escribir en el siguiente intento y, al final, el job se reinicia desde un checkpoint antiguo y reprocesa suficientes datos como para garantizar el siguiente fallo. AceMQ rompe ese círculo y ataca el crecimiento del estado que hay debajo.
Reto
El síntoma visible es un fallo de checkpoint semanal o nocturno que acaba en un bucle de reinicios. Por debajo se suman varias cosas: un operador con un keyed state creciente cuyo working set de RocksDB ya no cabe en el presupuesto de managed memory, barreras alineadas atascadas detrás de un sink lento, y un intervalo y un timeout de checkpoint elegidos cuando el estado era una fracción de su tamaño actual. Subir solo el timeout desplaza el fallo, pero no lo elimina.
Entorno
Apache Flink en Kubernetes o YARN con el state backend de RocksDB, checkpoints en S3 o HDFS y consumo desde Kafka.
Enfoque
AceMQ descompone la duración del checkpoint en sus fases síncrona, asíncrona y de alineación a partir de la interfaz y las métricas de Flink, lo que muestra si el coste está en el tamaño del estado, en la alineación de barreras o en el sistema de ficheros remoto. El backpressure se rastrea hasta el operador o el sink concreto que lo provoca. Después, la corrección se centra en esa fase: checkpoints no alineados y checkpointing incremental para el coste de alineación, ajuste de memoria y compactación de RocksDB para el coste del estado, y TTL de estado allí donde el estado nunca debería haber crecido tanto.
Solución
- Descomposición de la duración del checkpoint en fases síncrona, asíncrona y de alineación para identificar la restricción real
- Rastreo del backpressure hasta el operador o el sink concreto que frena la propagación de las barreras
- Activación de checkpoints no alineados y de buffer debloating donde domina la alineación detrás de operadores lentos
- Checkpointing incremental con la managed memory, la block cache y los write buffers de RocksDB redimensionados para el tamaño actual del estado
- Aplicación de TTL de estado y de una política de limpieza al keyed state que se acumula sin límite
- Reajuste del intervalo, el timeout y la pausa mínima entre checkpoints según la duración medida, con una estrategia de reinicio adaptada para cortar los bucles de reprocesamiento
Resultado final
El fallo recurrente de checkpoint desaparece y su duración vuelve a un rango estable con margen respecto al intervalo. Los jobs dejan de entrar en bucles de reinicio, porque un checkpoint lento ya no garantiza que el siguiente vaya a fallar.