Descripción general
Los jobs de Flink que mantienen cientos de gigabytes de keyed state tienen restricciones operativas que los jobs pequeños no tienen: los reinicios llevan un tiempo considerable, los cambios de paralelismo exigen redistribuir savepoints y una clave mal elegida hace que el estado se concentre en unos pocos task managers. AceMQ diseña la capa de estado para que estas restricciones sigan siendo manejables a medida que crece el job.
Reto
Los jobs con estado de gran tamaño se vuelven imposibles de desplegar sin que nadie lo note. Un savepoint tarda tanto que un despliegue rutinario necesita una ventana de mantenimiento, así que los despliegues se agrupan y cada uno conlleva más riesgo. El paralelismo máximo se dejó en su valor por defecto, de modo que el job no puede reescalarse más allá de un límite fijo sin reconstruir todo el estado. La distribución de los key groups es desigual porque la clave tiene skew, y dos task managers hacen la mayor parte del trabajo. El disco local se dimensionó para el estado inicial, no para el actual.
Entorno
Apache Flink en Kubernetes con state backend RocksDB, keyed state de gran tamaño y checkpoints o savepoints en almacenamiento de objetos.
Enfoque
AceMQ perfila el tamaño y la distribución del estado por key group y por task manager, y después diseña en torno a los requisitos operativos: el presupuesto de tiempo de reinicio, el rango de paralelismo previsto y la cadencia de actualizaciones. El paralelismo máximo y el número de key groups se fijan para la vida útil prevista del job y no para su tamaño actual, y las rutas de recuperación se prueban en lugar de darse por supuestas.
Solución
- Perfil del tamaño del estado y de la distribución de key groups por operador y por task manager para poner de manifiesto el skew de las particiones
- Paralelismo máximo y número de key groups dimensionados para el rango de escalado previsto del job, no para su tamaño de lanzamiento
- Configuración de RocksDB que abarca la memoria gestionada, la block cache, los write buffers, el estilo de compactación y la organización de las column families
- Dimensionamiento del almacenamiento local y elección de la clase de disco para los working sets de RocksDB y la preparación de los checkpoints
- Estrategia de savepoints, checkpoints retenidos y recuperación local con presupuestos de tiempo de reinicio medidos
- Runbook de reescalado y actualización validado mediante ensayos, incluidas las rutas de evolución del esquema del estado
Resultado final
Los tiempos de reinicio y de reescalado pasan a ser predecibles y acotados, de modo que los despliegues ya no requieren una ventana de mantenimiento. El estado se reparte de forma equilibrada entre los task managers, lo que elimina el comportamiento de nodo caliente que estaba limitando el rendimiento.