La mayoría de los P1 de Pulsar tienen su origen en una decisión de dimensionamiento tomada durante la construcción. Estas son las preguntas que planteamos a un equipo durante la primera semana de un contrato de soporte, con el motivo por el que importa cada una.
¿Cuáles son su ensemble, su write quorum y su ack quorum? Un punto de partida habitual es un ensemble de 3, un write quorum de 3 y un ack quorum de 2, que tolera un bookie lento o caído sin detener las escrituras. Un ensemble mayor reparte la carga entre más bookies, pero amplía el radio de impacto de un disco lento. Cuando un equipo configura un ack quorum igual al write quorum, cada escritura espera al bookie más lento, y un solo disco degradado se convierte en un problema de latencia en todo el clúster. Comprobamos el ajuste frente al número de bookies, los dominios de fallo (rack o zona) y el presupuesto de latencia.
¿Dónde está el journal y qué comparte su disco? El journal es una ruta de escritura secuencial con mucho fsync. Necesita su propio dispositivo rápido. Los equipos que colocan los directorios de journal y de ledger en el mismo volumen ven cómo la compactación y los vaciados de ledger se manifiestan como latencia de publicación. Medimos la latencia de fsync del dispositivo del journal antes del primer topic en producción.
¿Cuántos bundles tiene cada namespace y cuántos topics son muy activos? Los topics se asignan a bundles por hash. Un namespace creado con el número de bundles por defecto y unos pocos topics con mucha actividad puede concentrar la mayor parte del tráfico en un solo broker. Dividir los bundles pronto cuesta poco; dividirlos bajo carga provoca los saltos por reconexión que vemos en el problema 4. Dimensionamos los bundles a partir del número previsto de topics y de las tasas de los topics más activos.
¿Qué topics necesitan compactación y quién los lee? Los topics compactados salen baratos hasta que una compactación se queda atrás y un consumidor que lee la vista compactada ve datos obsoletos. Comprobamos los umbrales de compactación y el estado de ejecución de cada topic.
¿Qué comparten las Pulsar Functions y los conectores con los brokers? Las Functions que se ejecutan dentro del proceso del broker comparten su memoria y su CPU. Una función con una fuga se convierte en un incidente del broker. Preferimos function workers independientes para producción y revisamos sus límites de recursos.
¿Qué ocurre con una suscripción cuando desaparecen sus consumidores? Las suscripciones durables conservan su cursor y su backlog para siempre, salvo que una política de TTL o de caducidad los elimine. Una suscripción olvidada de un servicio retirado es el origen más frecuente de un backlog que crece durante semanas y acaba bloqueando a los productores. En cada revisión listamos las suscripciones con backlog y sin consumidores activos.