Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Diseñe la capa de estado antes de que se convierta en el motivo por el que no puede desplegar

Plataforma de detección de fraude online

Diseño del state backend, del particionado por clave y de la estrategia de reescalado para jobs de Flink con estado de gran tamaño que deben reiniciarse sin horas de indisponibilidad.

Descripción general

Los jobs de Flink que mantienen cientos de gigabytes de keyed state tienen restricciones operativas que los jobs pequeños no tienen: los reinicios llevan un tiempo considerable, los cambios de paralelismo exigen redistribuir savepoints y una clave mal elegida hace que el estado se concentre en unos pocos task managers. AceMQ diseña la capa de estado para que estas restricciones sigan siendo manejables a medida que crece el job.

Reto

Los jobs con estado de gran tamaño se vuelven imposibles de desplegar sin que nadie lo note. Un savepoint tarda tanto que un despliegue rutinario necesita una ventana de mantenimiento, así que los despliegues se agrupan y cada uno conlleva más riesgo. El paralelismo máximo se dejó en su valor por defecto, de modo que el job no puede reescalarse más allá de un límite fijo sin reconstruir todo el estado. La distribución de los key groups es desigual porque la clave tiene skew, y dos task managers hacen la mayor parte del trabajo. El disco local se dimensionó para el estado inicial, no para el actual.

Entorno

Apache Flink en Kubernetes con state backend RocksDB, keyed state de gran tamaño y checkpoints o savepoints en almacenamiento de objetos.

Enfoque

AceMQ perfila el tamaño y la distribución del estado por key group y por task manager, y después diseña en torno a los requisitos operativos: el presupuesto de tiempo de reinicio, el rango de paralelismo previsto y la cadencia de actualizaciones. El paralelismo máximo y el número de key groups se fijan para la vida útil prevista del job y no para su tamaño actual, y las rutas de recuperación se prueban en lugar de darse por supuestas.

Solución

  1. Perfil del tamaño del estado y de la distribución de key groups por operador y por task manager para poner de manifiesto el skew de las particiones
  2. Paralelismo máximo y número de key groups dimensionados para el rango de escalado previsto del job, no para su tamaño de lanzamiento
  3. Configuración de RocksDB que abarca la memoria gestionada, la block cache, los write buffers, el estilo de compactación y la organización de las column families
  4. Dimensionamiento del almacenamiento local y elección de la clase de disco para los working sets de RocksDB y la preparación de los checkpoints
  5. Estrategia de savepoints, checkpoints retenidos y recuperación local con presupuestos de tiempo de reinicio medidos
  6. Runbook de reescalado y actualización validado mediante ensayos, incluidas las rutas de evolución del esquema del estado

Resultado final

Los tiempos de reinicio y de reescalado pasan a ser predecibles y acotados, de modo que los despliegues ya no requieren una ventana de mantenimiento. El estado se reparte de forma equilibrada entre los task managers, lo que elimina el comportamiento de nodo caliente que estaba limitando el rendimiento.

Tecnologías

Apache FlinkRocksDBApache KafkaKubernetes

¿Necesita asesoramiento de arquitectura para Apache Flink?

Los ingenieros sénior de Apache Flink de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.