Descripción general
Los brokers de Pulsar confirman una escritura cuando la confirma el ack quorum de bookies, por lo que el bookie más lento de cada ensemble marca la latencia mínima. Un único nodo con el dispositivo de journal saturado degrada la latencia de escritura de todos los topics cuyos ledgers pasan por él. AceMQ aísla el bookie y corrige la distribución del almacenamiento que hay debajo.
Reto
La causa raíz habitual es que el journal y los datos de ledger comparten dispositivo. El journal necesita fsync secuenciales de baja latencia; el dispositivo de ledger realiza grandes escrituras secuenciales y compactaciones periódicas. Juntos en un mismo disco compiten entre sí, la latencia de fsync del journal sube y la latencia de add-entry aumenta en todo el clúster. Entre los factores que contribuyen están una configuración de ensemble y quórum sin margen para un nodo lento, una write cache infradimensionada y la recolección de basura del entry log compitiendo con el tráfico en vivo.
Entorno
Apache Pulsar con BookKeeper en Kubernetes o bare metal, metadatos en ZooKeeper o etcd y descarga por niveles a almacenamiento de objetos.
Enfoque
AceMQ correlaciona la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación en el lado del broker para identificar qué nodo marca el mínimo, y después confirma si la causa es la contención del dispositivo, el dimensionamiento de la caché o la compactación. La acción inmediata aísla el bookie de los nuevos ensembles; la solución definitiva separa los dispositivos de journal y de ledger y reajusta la caché y la compactación.
Solución
- Correlación de la latencia de fsync del journal y de add-entry de cada bookie con la latencia de publicación del broker para aislar el nodo limitante
- Separación de los dispositivos de journal y de ledger, con clases de almacenamiento adecuadas y presupuestos de IOPS independientes
- Ajuste del dimensionamiento de la write cache, la read-ahead cache y la memoria directa según el working set real y el heap de la JVM
- Ajuste de los umbrales de recolección de basura y compactación del entry log para que la recuperación de espacio deje de competir con las escrituras en vivo
- Configuración del ensemble, el write quorum y el ack quorum para tolerar un nodo lento sin bloquear las escrituras
- Validación de los procedimientos de autorecovery y de sustitución de bookies, incluida la recuperación de ledgers infrarreplicados
Resultado final
La latencia de publicación en todo el clúster vuelve a su línea base en cuanto se aísla el bookie limitante y se corrige la distribución del almacenamiento, y la nueva configuración del quórum hace que el próximo nodo lento degrade el servicio de forma controlada en lugar de bloquear el clúster.