BlogKafka

Kafka frente a Pulsar: arquitectura, operación y cuál elegir

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 16 min de lectura

Kafka frente a Pulsar: arquitectura, operación y cuál elegir
En esta página

La decisión entre Kafka y Pulsar se reduce a una elección de arquitectura. Los brokers de Kafka se encargan tanto de servir como de almacenar las particiones que alojan. Pulsar los separa: los brokers sin estado atienden el tráfico mientras Apache BookKeeper almacena los datos como ledgers segmentados. Todo lo demás, desde la multitenencia hasta el comportamiento al escalar, se desprende de esa separación.

Ambos son maduros y ambos funcionan en producción a gran escala. Ninguno gana la comparación entre Kafka y Pulsar de forma absoluta, y cualquier artículo que declare un ganador suele estar escrito por alguien que vende el otro.

Las dos plataformas son exigentes de operar. AceMQ ofrece soporte de Kafka y soporte de Apache Pulsar 24/7, incluidos BookKeeper y ZooKeeper, con objetivos de respuesta desde 15 minutos, según el plan.

Kafka frente a Pulsar: la separación de arquitectura

El modelo de almacenamiento de Kafka es un log particionado y replicado que se escribe en el disco local del broker. Cada partición tiene un broker líder y réplicas seguidoras, y cada una de ellas guarda la partición completa en su propio volumen. Servir y almacenar ocurren en la misma máquina por diseño, y eso es lo que hace a Kafka rápido y lo que encarece los rebalanceos.

El modelo de Pulsar es por capas. La documentación describe a los brokers como un "componente sin estado": no poseen ningún dato. El almacenamiento vive en Apache BookKeeper, "un sistema distribuido de write-ahead log (WAL)", donde los datos de un topic se escriben como una serie de ledgers. Un ledger es "una estructura de datos de solo anexado, con un único escritor, asignada a varios nodos de almacenamiento de BookKeeper, o bookies", y el "managed ledger" es la capa de almacenamiento de un topic individual, que une esos ledgers.

De esa separación se derivan tres consecuencias, y explican la mayor parte de lo que notan los equipos que operan Kafka y Pulsar uno al lado del otro:

  • En Pulsar, el fallo de un broker sale barato. Un broker no posee ningún dato, así que la propiedad de un topic pasa a otro broker sin copiar nada. En Kafka, perder un broker implica una elección de líder y, si el broker no vuelve con su disco, una reconstrucción completa de las réplicas a través de la red.
  • Las particiones de Kafka están limitadas por una sola máquina. Una partición debe caber en los discos de cada broker que tiene una réplica. Los segmentos de Pulsar se distribuyen entre los bookies, así que un topic no está limitado por la capacidad de ningún nodo individual.
  • Kafka escala de forma más predecible. Un solo tipo de componente, un solo modo de fallo para analizar, un solo conjunto de métricas. La independencia de Pulsar entre cómputo y almacenamiento es real, y también lo es la superficie adicional que genera.

El tiered storage de Kafka suaviza bastante la primera restricción (más sobre esto, más abajo), pero la diferencia de fondo en lo que es un broker no desaparece.

¿Cuál es más fácil de operar en el día a día?

Aquí es donde la mayoría de las comparativas publicadas entre Kafka y Pulsar están desactualizadas, porque ambos proyectos han cambiado la respuesta hace poco. También es la sección que conviene volver a contrastar con las release notes antes de comprometerse con algo.

Kafka ha eliminado ZooKeeper. Apache Kafka 4.0, lanzado en marzo de 2025, es la primera versión mayor que funciona sin él: solo modo KRaft, con controladores que son procesos de Kafka y no un ensemble aparte. Pulsar, por su parte, ahora admite varios backends de metadatos y recomienda Oxia, aunque ZooKeeper sigue siendo compatible y apto para producción. Así que la vieja frase de que "Pulsar necesita ZooKeeper y Kafka no" hoy es incorrecta en ambos lados.

Lo que sigue siendo cierto es el número de componentes.

Apache KafkaApache Pulsar
Capa de servicioBrokers (propietarios de los datos de sus particiones)Brokers (sin estado)
Capa de almacenamientoLos mismos brokers, directorios de log localesBookies de BookKeeper, ledgers segmentados
Metadatos y coordinaciónControladores KRaft (ZooKeeper eliminado en 4.0)Almacén de metadatos (se recomienda Oxia, ZooKeeper es compatible), más un almacén de configuración para el estado de toda la instancia
Procesos distintos que operar2 roles (broker, controlador)3 o más (broker, bookie, almacén de metadatos)
Dominio de fallos que analizarLiderazgo de particiones e ISRPropiedad de los brokers, ubicación de los ledgers, ensembles de bookies
Escalado del almacenamientoAñadir brokers o usar tiered storageAñadir bookies de forma independiente de los brokers

Tres tipos de procesos en lugar de dos no descalifican a nadie, pero tampoco son gratis. Los bookies tienen su propia planificación de capacidad, su propia distribución de discos de journal y de ledgers y su propio comportamiento ante fallos, y el número de personas que han depurado un ensemble de BookKeeper a las 3 de la madrugada es mucho menor que la de quienes han depurado un broker de Kafka.

Del lado de Kafka, el dolor operativo se concentra en un punto específico: el rebalanceo de los consumer groups. Si todavía no ha tenido que lidiar con eso, qué dispara un rebalanceo de Kafka y cómo diagnosticar el consumer lag de Kafka lo explican. Kafka 4.0 también llevó a disponibilidad general el nuevo protocolo de rebalanceo de consumidores (KIP-848), habilitado por defecto del lado del servidor y que los consumidores adoptan con group.protocol=consumer, lo que elimina la barrera global stop-the-world que causaba la mayor parte del daño.

Si ejecuta cualquiera de los dos en Kubernetes, tenga en cuenta que la separación del almacenamiento cambia bastante la forma del despliegue: Kafka en EKS, AKS y GKE cubre el lado de Kafka.

¿En qué se diferencia la multitenencia entre Kafka y Pulsar?

Esta es la ventaja estructural más clara de Pulsar, y la diferencia es grande.

Pulsar se construyó como multitenant. Un tenant es una unidad administrativa para asignar capacidad y aplicar autenticación o autorización, un tenant contiene namespaces y los topics se direccionan como persistent://tenant/namespace/topic. Las políticas que importan en la operación, como la retención y las cuotas de almacenamiento, se aplican a nivel de namespace, así que la retención descontrolada de un equipo se contiene por configuración y no con una conversación.

Kafka tiene autenticación, ACL y cuotas por cliente, y se puede llegar lejos con una convención de nombres para los topics más ACL bien disciplinadas. Pero no existe una jerarquía de tenencia. En Kafka, el aislamiento es algo que usted impone; en Pulsar, es algo que la plataforma le da.

Si está construyendo una plataforma en la que cada cliente o cada equipo interno recibe su propia porción, esa diferencia se acumula trimestre tras trimestre. Si opera un solo pipeline para un solo equipo, no vale absolutamente nada.

¿Cómo se comparan la georreplicación y el tiered storage?

Georreplicación. Pulsar la trae de fábrica. La replicación se configura por namespace y admite topologías de malla completa, activo-activo y agregación. Por defecto es asíncrona (los mensajes se persisten en el clúster local y luego los brokers los replican), con replicación síncrona disponible mediante BookKeeper entre centros de datos a costa de la latencia. Un quórum aparte del almacén de configuración coordina el estado de toda la instancia que hace posible esto.

Kafka replica entre clústeres con MirrorMaker 2 o un equivalente de un fabricante, como Cluster Linking de Confluent. Funciona, está ampliamente desplegado y es, además, un sistema aparte que hay que desplegar, monitorizar y entender, incluida la traducción de offsets, que es donde se esconden la mayoría de las sorpresas del failover de consumidores entre clústeres.

Tiered storage. Ambos lo tienen, y en ambos está listo para producción.

  • La implementación de Kafka (KIP-405) quedó lista para producción en la versión 3.9 y descarga los segmentos de log más antiguos a un almacenamiento externo conectable, mientras los brokers conservan localmente los datos recientes.
  • Pulsar descarga los segmentos sellados, de solo lectura, a Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS o un sistema de archivos. La descarga puede dispararse por el tamaño del backlog, la antigüedad de los mensajes, un comando de administración manual o una política a nivel de namespace, y se ejecuta de forma asíncrona en segundo plano.

La versión de Pulsar es más madura simplemente porque llegó años antes y su almacenamiento basado en segmentos se prestaba a ello de forma natural. La de Kafka ha cerrado la mayor parte de la brecha práctica. Para un despliegue nuevo en 2026, el tiered storage ya no es el factor decisivo entre Kafka y Pulsar que era en 2022.

¿Y las colas y las confirmaciones por mensaje?

Históricamente, esta era la brecha de capacidades más genuina entre Kafka y Pulsar, y es la que se ha cerrado más recientemente.

Pulsar ofrece cuatro tipos de suscripción: exclusive (la predeterminada, un solo consumidor), failover (un primario con consumidores en espera), shared (round-robin entre consumidores, cada mensaje a exactamente uno) y key_shared (los mensajes con la misma clave siempre van al mismo consumidor). Admite confirmación individual y acumulativa, confirmación negativa, retry letter topics y dead letter topics, y deduplicación de mensajes del lado del servidor. Ese conjunto cubre patrones de cola de trabajo que un consumer group clásico de Kafka no puede expresar, porque una partición de Kafka se asigna a exactamente un consumidor del grupo.

Kafka respondió con los share groups (KIP-932). Pasaron a acceso anticipado en 4.0, a versión preliminar en 4.1 y quedaron listos para producción en Apache Kafka 4.2. Los consumidores de un share group consumen de forma cooperativa sin fijar una partición a un solo consumidor, con confirmación por registro y recuento de intentos de entrega. Eso está mucho más cerca de la shared subscription de Pulsar y elimina lo que antes era un motivo real para elegir Pulsar en cargas de trabajo con forma de cola.

Si su evaluación se basa en una comparativa escrita antes de 2026, contraste esta sección con las release notes actuales: es la parte de toda la comparación que cambia más rápido.

¿Cuál tiene el ecosistema y el mercado de talento más grandes?

Kafka, por un amplio margen, y no es una conclusión que valga la pena matizar.

Kafka Connect tiene cientos de conectores. Kafka Streams y ksqlDB están ampliamente desplegados. Todos los procesadores de streams importantes (Flink, Spark y el resto) tratan a Kafka como fuente y destino de primer nivel. Todos los proveedores de observabilidad incluyen paneles de Kafka. Todas las nubes ofrecen un Kafka gestionado o un endpoint compatible con Kafka. Y, lo más importante, se puede contratar a personas que han operado Kafka en producción.

Pulsar tiene equivalentes reales: conectores de Pulsar IO, Pulsar Functions para procesamiento ligero y Pulsar SQL para consultar topics. El catálogo es más pequeño, la superficie de integración con terceros es más reducida y el conocimiento operativo está concentrado en menos personas y en un conjunto más pequeño de proveedores.

En una decisión de arquitectura, esto pesa más de lo que admiten la mayoría de los análisis de Kafka frente a Pulsar. El coste de una plataforma poco conocida no se paga en el momento de elegirla. Se paga a las 3 de la madrugada, dieciocho meses después, y lo paga quien esté de guardia.

Kafka frente a Pulsar: ¿cuál conviene elegir?

  • Elija Kafka cuando quiera el ecosistema y el mercado de talento más grandes, cuando su carga de trabajo sea un pipeline de alto throughput sin complicaciones, cuando quiera operar el menor número posible de tipos de procesos o cuando necesite un servicio gestionado en cualquier nube sin un contrato con terceros.
  • Elija Pulsar cuando la multitenencia sea un requisito del producto y no algo deseable, cuando necesite georreplicación integrada por namespace entre varias regiones, cuando el almacenamiento y el cómputo realmente necesiten escalar de forma independiente o cuando los datos de un solo topic no quepan con holgura en los discos de un solo broker.
  • No migre por elegancia. La arquitectura de Pulsar es más limpia de maneras que es fácil admirar en una pizarra. Si no puede nombrar la restricción específica que elimina para su carga de trabajo, la migración le costará herramientas, formación y conocimiento institucional a cambio de un diagrama que le gusta más.

El resumen honesto: no es un caso en el que un sistema se haya quedado atrás. Las brechas que antes hacían obvia la elección entre Kafka y Pulsar en cualquiera de las dos direcciones (ZooKeeper, tiered storage, semántica de colas) se han reducido todas desde 2024. Lo que queda es una pregunta genuina de arquitectura, sobre si necesita que servir y almacenar escalen por separado, y una pregunta genuina de organización, sobre qué plataforma puede operar realmente su equipo.

¿Ha alcanzado Kafka a Pulsar en multitenencia y tiered storage?

En almacenamiento, en gran medida sí. En tenencia, no.

El tiered storage de Kafka saca del disco local los segmentos de log cerrados y los lleva a un almacenamiento de objetos, mientras el broker sigue siendo lo único con lo que habla un cliente. Los consumidores que leen offsets recientes acceden al conjunto caliente local; los que leen offsets más antiguos disparan una lectura remota que el broker devuelve por la misma API de fetch. La retención local pasa a ser una decisión de dimensionamiento de caché y no de capacidad, y una partición puede guardar meses de historial sin necesitar meses de disco. Cómo interactúan los ajustes de retención local y remota se explica en nuestra guía sobre la política de retención de Kafka.

Pulsar llegó aquí años antes mediante los offloaders de BookKeeper y conserva dos ventajas reales: la descarga es una política de namespace y no un ajuste por topic, y como los bookies siempre fueron la capa de almacenamiento, el disco del broker nunca entró en juego. La implementación de Kafka todavía tiene aristas. Los topics compactados no pueden pasar a tiered storage, las lecturas de puesta al día en frío pagan la latencia de la lectura remota y el plugin de almacenamiento remoto es algo que usted elige y opera. Para una retención larga en un flujo de eventos común, los dos están lo bastante cerca como para que el almacenamiento no sea lo que decida la plataforma.

La tenencia es otra historia. En Pulsar, un tenant posee namespaces, un namespace posee topics, y las cuotas, la retención, la descarga, la replicación y los permisos se asocian al namespace. Kafka llega bastante lejos con convenciones: un prefijo de topic por equipo, ACL con prefijo sobre ese patrón, cuotas por principal y un clúster aparte cuando un equipo hace tanto ruido que perjudica a los demás. Pero es disciplina sobre un espacio de nombres plano, no un modelo que el broker haga cumplir. Una ACL mal escrita puede abrirle un prefijo al equipo equivocado, y nada reúne los ajustes de un equipo en un único objeto que se pueda inspeccionar.

Nuestro veredicto: Kafka ha cerrado la brecha de almacenamiento y la mayor parte de la brecha operativa. Pulsar sigue teniendo el modelo de tenencia más limpio, y el precio es BookKeeper más su almacén de metadatos funcionando como un segundo sistema con estado junto a los brokers.

En nuestros proyectos, muchas menos organizaciones necesitan una tenencia de primer nivel que las que preguntan por ella. Importa cuando un equipo de plataforma atiende a decenas de equipos de aplicaciones con aislamiento estricto, chargeback y aprovisionamiento de autoservicio. No importa en una empresa con tres o cuatro equipos productores en la misma rotación de guardia, que es la descripción de la mayoría de las empresas con las que trabajamos.

BookKeeper frente al log de Kafka: por qué la capa de almacenamiento define la operación

Casi todas las diferencias operativas entre los dos se remontan a dónde viven los bytes.

Un broker de Kafka posee sus particiones: segmentos de log en su disco local, réplicas en los discos locales de otros brokers y controladores KRaft que registran quién lidera qué. La capacidad de almacenamiento es la capacidad del broker. Cuando un disco se llena o un broker se sobrecarga, la solución es una reasignación de particiones, que copia los datos de las réplicas por la red y espera a que se pongan al día. Está limitada en velocidad, compite con el tráfico real y tarda horas en una partición grande. Definir bien desde el principio el número de particiones y la distribución de las claves, como explicamos en estrategia de particiones de Kafka, consiste en gran medida en evitar eso más adelante.

Los brokers de Pulsar no guardan datos. Un topic es un managed ledger, cada ledger se distribuye en franjas sobre un ensemble de bookies, y un bookie nuevo simplemente se incluye en el siguiente ledger. Escalar el almacenamiento es añadir bookies: no se mueve nada, no se ejecuta ningún rebalanceo, y el fallo de un broker es un cambio de propiedad que se mide en segundos y no una puesta al día de réplicas.

La factura es un segundo sistema con estado con su propio vocabulario. Cada ledger tiene un tamaño de ensemble, un write quorum y un ack quorum, y la relación entre los tres define tanto la durabilidad como cuántos bookies se pueden perder. Cuando un bookie muere, la autorrecuperación debe detectar los ledgers con replicación insuficiente y volver a replicarlos; si está mal configurada o deshabilitada, algo que hemos encontrado en clústeres que heredamos, el clúster funciona en silencio con menos redundancia de la que todos creen. La recuperación de ledgers durante un failover tiene que bloquear (fencing) al propietario anterior y asentar la última entrada antes de que el nuevo broker atienda lecturas.

Las rutas de escritura tienen formas distintas. Un produce de Kafka llega a la page cache del líder, se reparte a los seguidores y se confirma cuando lo tienen las réplicas sincronizadas: un salto desde el cliente, con la durabilidad definida por acks y min.insync.replicas. Un produce de Pulsar va al broker, que escribe en el ensemble en paralelo; cada bookie hace fsync de una entrada en el journal antes de escribir el ledger, y el broker confirma al alcanzar el ack quorum. Dos saltos y un fsync en la ruta crítica explican por qué la latencia de escritura p99 de Pulsar es más alta que la de Kafka con la misma durabilidad.

La detección de fallos sigue la misma división. Un problema de Kafka suele ser una partición con replicación insuficiente o un broker que dejó de liderar, y todos los stacks de monitorización conocen esas métricas. Los fallos de Pulsar se esconden en la capa que no está mirando: brokers sanos, bookies sanos y la autorrecuperación acumulando retraso en silencio.

Esa es la realidad de la dotación de personal. Los ingenieros que han operado Kafka en producción abundan. Los que pueden razonar sobre los quórums de BookKeeper a las 3 de la madrugada escasean. Nuestras notas sobre Kafka en Kubernetes cubren los ajustes de almacenamiento que acortan la distancia, pero nada la elimina.

La arquitectura de Pulsar justifica su complejidad cuando necesita escalar el almacenamiento de forma independiente del servicio, ejecutar decenas de miles de topics o contar con tenencia por namespace para evitar un clúster por equipo. En los demás casos, la capa de almacenamiento más simple de Kafka es el mejor equilibrio, y podemos ayudarle a diseñarla o a mantenerla en funcionamiento.

Solicite una evaluación de streaming independiente de los fabricantes

¿Está evaluando una plataforma de streaming o necesita soporte para una que ya opera? AceMQ realiza evaluaciones independientes de los fabricantes que parten de la carga de trabajo y no del diagrama de arquitectura: conozca la consultoría de Kafka y el soporte y la consultoría de Apache Kafka, o hable con un ingeniero de AceMQ.

Preguntas frecuentes

¿Cuál es la principal diferencia entre Kafka y Pulsar?

Los brokers de Kafka se encargan tanto de servir como de almacenar las particiones que alojan, así que escalar el almacenamiento y escalar el cómputo son la misma operación. Pulsar los separa: los brokers sin estado atienden el tráfico y Apache BookKeeper almacena los datos como ledgers segmentados. Esa sola decisión explica la mayoría de las demás diferencias.

¿Pulsar es más difícil de operar que Kafka?

Tiene más piezas móviles: brokers, bookies y un almacén de metadatos, frente a los brokers y controladores de Kafka desde que ZooKeeper se eliminó en la versión 4.0. Que eso resulte más difícil depende de si los componentes adicionales le aportan algo. En un pipeline de un solo tenant, por lo general no.

¿Pulsar todavía necesita ZooKeeper?

No necesariamente. Pulsar admite varios backends de almacén de metadatos y ahora recomienda Oxia, aunque ZooKeeper sigue siendo compatible y apto para producción. Las comparativas antiguas que se apoyan en que Pulsar necesita ZooKeeper y Kafka no están desactualizadas en ambos lados.

¿Cuál es mejor para la multitenencia?

Pulsar, claramente. Los tenants y los namespaces son conceptos de primer nivel, los topics se direccionan como persistent://tenant/namespace/topic y la retención y las cuotas de almacenamiento se aplican por namespace. Kafka tiene ACL y cuotas, pero no una jerarquía de tenencia, así que el aislamiento es una convención que usted impone y no una estructura que la plataforma le da.

¿Kafka admite colas como las shared subscriptions de Pulsar?

Sí, desde Apache Kafka 4.2. Los share groups (KIP-932) quedaron listos para producción en esa versión, tras el acceso anticipado en 4.0 y la versión preliminar en 4.1. Permiten un consumo cooperativo sin fijar una partición a un solo consumidor, con confirmación por registro, algo más cercano a la shared subscription de Pulsar que a un consumer group clásico.

¿Ambos admiten tiered storage?

Sí. El tiered storage de Kafka (KIP-405) quedó listo para producción en la versión 3.9. Pulsar descarga los segmentos sellados a S3, Google Cloud Storage, Azure Blob, Alibaba OSS o un sistema de archivos, según el tamaño, la antigüedad, un comando manual o una política de namespace.

¿Cuál tiene mejor georreplicación?

Pulsar la trae integrada, configurada por namespace, con patrones de malla completa, activo-activo y agregación, y opciones tanto asíncronas como síncronas. Kafka replica entre clústeres con MirrorMaker 2 o un equivalente comercial, que funciona bien pero es un componente aparte que usted debe operar y monitorizar.

¿Conviene migrar de Kafka a Pulsar?

Solo por un motivo concreto que pueda nombrar: multitenencia real, georreplicación por namespace o escalado independiente del almacenamiento y el cómputo. Migrar por elegancia arquitectónica significa pagar un coste real en herramientas, contrataciones y conocimiento institucional a cambio de un beneficio que quizá no use.

¿Pulsar es más simple de operar que Kafka?

No. Los brokers sin estado de Pulsar hacen que los fallos de un broker individual y la ampliación del almacenamiento sean más simples que la reasignación de particiones de Kafka, pero la plataforma en su conjunto tiene más componentes con estado: brokers, bookies de BookKeeper y un almacén de metadatos, cada uno con sus propios modos de fallo, su distribución en disco y su monitorización. Kafka con KRaft es un solo tipo de proceso con discos locales. Si su equipo ya opera Kafka, Pulsar representa un aumento neto de la superficie operativa, y es más difícil contratar perfiles que sepan operar bien BookKeeper que perfiles de Kafka.

Fuentes

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Hablar con un ingeniero

¿Necesita ayuda con Kafka?

Ingenieros sénior que lo gestionan en producción. Solicite un presupuesto o una consulta gratuita, sin discursos comerciales.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos