Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

En Pulsar, un solo bookie con problemas eleva la latencia de escritura de todo el clúster

Procesador global de pagos

Resolución de la latencia de escritura en todo el clúster causada por la contención de los dispositivos de journal y ledger de los bookies, y recuperación del margen del write quorum.

Descripción general

Los brokers de Pulsar confirman una escritura cuando la confirma el ack quorum de bookies, así que el bookie más lento de cada ensemble fija el piso de latencia. Un solo nodo con el dispositivo de journal saturado degrada la latencia de escritura de todos los topics cuyos ledgers pasan por él. AceMQ aísla el bookie y corrige la disposición del almacenamiento que hay debajo.

Desafío

La causa raíz habitual es que el journal y los datos del ledger comparten dispositivo. El journal necesita fsync secuencial de baja latencia; el dispositivo de ledger hace grandes escrituras secuenciales y compactaciones periódicas. Juntos en un mismo disco compiten entre sí, la latencia de fsync del journal sube y la latencia de add-entry aumenta en todo el clúster. Entre los factores que contribuyen están una configuración de ensemble y quorum sin margen para un nodo lento, una write cache subdimensionada y el garbage collection del entry log compitiendo con el tráfico en vivo.

Entorno

Apache Pulsar con BookKeeper sobre Kubernetes o bare metal, metadatos en ZooKeeper o etcd y offload por niveles a almacenamiento de objetos.

Enfoque

AceMQ correlaciona la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación del lado del broker para identificar qué nodo fija el piso, y luego confirma si la causa es la contención del dispositivo, el dimensionamiento de la caché o la compactación. La acción inmediata aísla el bookie de los nuevos ensembles; la corrección duradera separa los dispositivos de journal y ledger y reajusta la caché y la compactación.

Solución

  1. Correlación de la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación del broker para aislar el nodo que limita
  2. Separación de los dispositivos de journal y ledger con clases de almacenamiento adecuadas y presupuestos de IOPS independientes
  3. Ajuste del dimensionamiento de la write cache, la read-ahead cache y la memoria directa según el working set real y el heap de la JVM
  4. Ajuste de los umbrales de garbage collection y compactación del entry log para que la recuperación de espacio deje de competir con las escrituras en vivo
  5. Configuración de ensemble, write quorum y ack quorum definida para tolerar un nodo lento sin frenar las escrituras
  6. Validación de los procedimientos de autorecovery y reemplazo de bookies, incluida la recuperación de ledgers sub-replicados

Resultado final

La latencia de publicación de todo el clúster vuelve a su línea base una vez que se aísla el bookie que limita y se corrige la disposición del almacenamiento, y con la configuración de quorum revisada, el próximo nodo lento degrada el servicio de forma controlada en lugar de frenar el clúster.

Tecnologías

Apache PulsarApache BookKeeperKubernetesZooKeeper

¿Enfrenta un problema de Apache Pulsar en producción?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.