Descripción general
Un job de Flink bajo backpressure sostenido no logra que las barriers atraviesen su pipeline a tiempo, así que los checkpoints expiran. Cada expiración implica más estado que escribir en el siguiente intento y, con el tiempo, el job se reinicia desde un checkpoint antiguo y reprocesa datos suficientes como para garantizar la siguiente falla. AceMQ rompe ese ciclo y ataca el crecimiento de estado que hay debajo.
Desafío
El síntoma visible es una falla de checkpoint semanal o nocturna que termina en un ciclo de reinicios. Por debajo se combinan varias cosas: un operador con keyed state en crecimiento cuyo working set de RocksDB ya no cabe en el presupuesto de managed memory, barriers alineadas detenidas detrás de un sink lento, y un intervalo y un timeout de checkpoint elegidos cuando el estado era una fracción de su tamaño actual. Aumentar solo el timeout desplaza la falla en lugar de eliminarla.
Entorno
Apache Flink en Kubernetes o YARN con state backend de RocksDB, checkpoints en S3 o HDFS y consumo desde Kafka.
Enfoque
AceMQ descompone la duración de los checkpoints en sus fases síncrona, asíncrona y de alineación a partir de la UI y las métricas de Flink, lo que muestra si el costo está en el tamaño del estado, en la alineación de las barriers o en el sistema de archivos remoto. El backpressure se rastrea hasta el operador o el sink específico que lo provoca. Luego la corrección apunta a esa fase: unaligned checkpoints y checkpoints incrementales para el costo de alineación, ajuste de la memoria y la compactación de RocksDB para el costo de estado, y state TTL donde el estado nunca debió crecer tanto.
Solución
- Descomposición de la duración de los checkpoints en las fases sync, async y de alineación para identificar la restricción real
- Rastreo del backpressure hasta el operador o el sink específico que frena la propagación de las barriers
- Habilitación de unaligned checkpoints y buffer debloating donde predomina la alineación detrás de operadores lentos
- Checkpoints incrementales con managed memory, block cache y write buffers de RocksDB redimensionados según el tamaño actual del estado
- Aplicación de state TTL y de una política de limpieza al keyed state que se acumula sin límite
- Reajuste del intervalo, el timeout y la pausa mínima entre checkpoints según la duración medida, con una estrategia de reinicio ajustada para detener los ciclos de reprocesamiento
Resultado final
La falla recurrente de checkpoints se elimina y la duración de los checkpoints vuelve a un rango estable, con margen frente al intervalo. Los jobs dejan de entrar en ciclos de reinicio, porque un checkpoint lento ya no garantiza que el siguiente falle.