Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

En Pulsar, un solo bookie en apuros eleva la latencia de escritura de todo el clúster

Procesador de pagos global

Resolución de una latencia de escritura en todo el clúster provocada por la contención entre los dispositivos de journal y de ledger de los bookies, y recuperación del margen del quórum de escritura.

Descripción general

Los brokers de Pulsar confirman una escritura cuando la confirma el ack quorum de bookies, por lo que el bookie más lento de cada ensemble marca la latencia mínima. Un único nodo con el dispositivo de journal saturado degrada la latencia de escritura de todos los topics cuyos ledgers pasan por él. AceMQ aísla el bookie y corrige la distribución del almacenamiento que hay debajo.

Reto

La causa raíz habitual es que el journal y los datos de ledger comparten dispositivo. El journal necesita fsync secuenciales de baja latencia; el dispositivo de ledger realiza grandes escrituras secuenciales y compactaciones periódicas. Juntos en un mismo disco compiten entre sí, la latencia de fsync del journal sube y la latencia de add-entry aumenta en todo el clúster. Entre los factores que contribuyen están una configuración de ensemble y quórum sin margen para un nodo lento, una write cache infradimensionada y la recolección de basura del entry log compitiendo con el tráfico en vivo.

Entorno

Apache Pulsar con BookKeeper en Kubernetes o bare metal, metadatos en ZooKeeper o etcd y descarga por niveles a almacenamiento de objetos.

Enfoque

AceMQ correlaciona la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación en el lado del broker para identificar qué nodo marca el mínimo, y después confirma si la causa es la contención del dispositivo, el dimensionamiento de la caché o la compactación. La acción inmediata aísla el bookie de los nuevos ensembles; la solución definitiva separa los dispositivos de journal y de ledger y reajusta la caché y la compactación.

Solución

  1. Correlación de la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación del broker para aislar el nodo limitante
  2. Separación de los dispositivos de journal y de ledger, con clases de almacenamiento adecuadas y presupuestos de IOPS independientes
  3. Ajuste del dimensionamiento de la write cache, la read-ahead cache y la memoria directa según el working set real y el heap de la JVM
  4. Ajuste de los umbrales de recolección de basura y compactación del entry log para que la recuperación de espacio deje de competir con las escrituras en vivo
  5. Configuración del ensemble, el write quorum y el ack quorum para tolerar un nodo lento sin bloquear las escrituras
  6. Validación de los procedimientos de autorecovery y de sustitución de bookies, incluida la recuperación de ledgers infrarreplicados

Resultado final

La latencia de publicación en todo el clúster vuelve a su línea base en cuanto se aísla el bookie limitante y se corrige la distribución del almacenamiento, y la nueva configuración del quórum hace que el próximo nodo lento degrade el servicio de forma controlada en lugar de bloquear el clúster.

Tecnologías

Apache PulsarApache BookKeeperKubernetesZooKeeper

¿Se enfrenta a un problema de Apache Pulsar en producción?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.