Descripción general
Los jobs de Flink que mantienen cientos de gigabytes de estado por clave tienen restricciones operativas que los jobs pequeños no tienen: los reinicios llevan tiempo real, los cambios de paralelismo requieren redistribuir savepoints y una clave mal elegida hace que el estado se concentre en unos pocos task managers. AceMQ diseña la capa de estado para que estas restricciones sigan siendo manejables a medida que crece el job.
Desafío
Los jobs con estado grande se vuelven imposibles de desplegar sin que nadie lo note. Un savepoint tarda tanto que un despliegue de rutina necesita una ventana de mantenimiento, así que los despliegues se agrupan y cada uno conlleva más riesgo. El max parallelism se dejó en su valor por defecto, por lo que el job no se puede reescalar más allá de un límite fijo sin reconstruir todo el estado. La distribución de los key groups es despareja porque la clave tiene skew, y dos task managers hacen la mayor parte del trabajo. El disco local se dimensionó para el estado inicial, no para el actual.
Entorno
Apache Flink sobre Kubernetes con state backend RocksDB, estado por clave de gran tamaño y checkpoints o savepoints en almacenamiento de objetos.
Enfoque
AceMQ perfila el tamaño y la distribución del estado por key group y por task manager, y luego diseña en función de los requisitos operativos: presupuesto de tiempo de reinicio, rango de paralelismo esperado y cadencia de actualizaciones. El max parallelism y la cantidad de key groups se definen para la vida útil esperada del job y no para su tamaño actual, y las rutas de recuperación se prueban en lugar de darse por sentadas.
Solución
- Perfilado del tamaño del estado y de la distribución de key groups por operador y por task manager para detectar el skew de las particiones
- Dimensionamiento del max parallelism y de los key groups para el rango de escalado esperado del job, no para su tamaño al lanzarse
- Configuración de RocksDB que cubre managed memory, block cache, write buffers, estilo de compactación y organización de column families
- Dimensionamiento del almacenamiento local y elección de la clase de disco para los working sets de RocksDB y el staging de checkpoints
- Estrategia de savepoints, checkpoints retenidos y recuperación local con presupuestos de tiempo de reinicio medidos
- Runbook de reescalado y actualización validado mediante ensayos, incluidas las rutas de evolución del esquema del estado
Resultado final
Los tiempos de reinicio y reescalado se vuelven predecibles y acotados, así que los despliegues ya no requieren una ventana de mantenimiento. El estado se distribuye de forma pareja entre los task managers, lo que elimina el comportamiento de nodos calientes que limitaba el throughput.