On this page
La decisión entre Kafka y Pulsar se reduce a una elección de arquitectura. Los brokers de Kafka se encargan tanto de servir como de almacenar las particiones que alojan. Pulsar los separa: los brokers sin estado atienden el tráfico mientras Apache BookKeeper almacena los datos como ledgers segmentados. Todo lo demás, desde la multitenencia hasta el comportamiento al escalar, se desprende de esa separación.
Ambos son maduros y ambos funcionan en producción a gran escala. Ninguno gana la comparación entre Kafka y Pulsar de forma absoluta, y cualquier artículo que declare un ganador suele estar escrito por alguien que vende el otro.
Las dos plataformas son exigentes de operar. AceMQ ofrece soporte de Kafka y soporte de Apache Pulsar 24/7, incluidos BookKeeper y ZooKeeper, con objetivos de respuesta desde 15 minutos, según el plan.
Kafka frente a Pulsar: la separación de arquitectura
El modelo de almacenamiento de Kafka es un log particionado y replicado que se escribe en el disco local del broker. Cada partición tiene un broker líder y réplicas seguidoras, y cada una de ellas guarda la partición completa en su propio volumen. Servir y almacenar ocurren en la misma máquina por diseño, y eso es lo que hace a Kafka rápido y lo que encarece los rebalanceos.
El modelo de Pulsar es por capas. La documentación describe a los brokers como un "componente sin estado": no son dueños de ningún dato. El almacenamiento vive en Apache BookKeeper, "un sistema distribuido de write-ahead log (WAL)", donde los datos de un topic se escriben como una serie de ledgers. Un ledger es "una estructura de datos de solo anexado, con un único escritor, asignada a varios nodos de almacenamiento de BookKeeper, o bookies", y el "managed ledger" es la capa de almacenamiento de un topic individual, que une esos ledgers.
De esa separación se derivan tres consecuencias, y explican la mayor parte de lo que notan los equipos que operan Kafka y Pulsar uno al lado del otro:
- En Pulsar, la falla de un broker sale barata. Un broker no es dueño de ningún dato, así que la propiedad de un topic pasa a otro broker sin copiar nada. En Kafka, perder un broker implica una elección de líder y, si el broker no vuelve con su disco, una reconstrucción completa de las réplicas a través de la red.
- Las particiones de Kafka están limitadas por una sola máquina. Una partición debe caber en los discos de cada broker que tiene una réplica. Los segmentos de Pulsar se distribuyen entre los bookies, así que un topic no está limitado por la capacidad de ningún nodo individual.
- Kafka escala de forma más predecible. Un solo tipo de componente, un solo modo de falla para analizar, un solo conjunto de métricas. La independencia de Pulsar entre cómputo y almacenamiento es real, y también lo es la superficie adicional que genera.
El tiered storage de Kafka suaviza bastante la primera restricción (más sobre esto abajo), pero la diferencia de fondo en lo que es un broker no desaparece.
¿Cuál es más fácil de operar en el día a día?
Aquí es donde la mayoría de las comparativas publicadas entre Kafka y Pulsar están desactualizadas, porque ambos proyectos cambiaron la respuesta hace poco. También es la sección que conviene volver a contrastar con las release notes antes de comprometerse con algo.
Kafka eliminó ZooKeeper. Apache Kafka 4.0, lanzado en marzo de 2025, es la primera versión mayor que funciona sin él: solo modo KRaft, con controladores que son procesos de Kafka y no un ensemble aparte. Pulsar, por su parte, ahora admite varios backends de metadatos y recomienda Oxia, aunque ZooKeeper sigue siendo compatible y apto para producción. Así que la vieja frase de que "Pulsar necesita ZooKeeper y Kafka no" hoy es incorrecta en ambos lados.
Lo que sigue siendo cierto es la cantidad de componentes.
| Apache Kafka | Apache Pulsar | |
|---|---|---|
| Capa de servicio | Brokers (dueños de los datos de sus particiones) | Brokers (sin estado) |
| Capa de almacenamiento | Los mismos brokers, directorios de log locales | Bookies de BookKeeper, ledgers segmentados |
| Metadatos y coordinación | Controladores KRaft (ZooKeeper eliminado en 4.0) | Almacén de metadatos (se recomienda Oxia, ZooKeeper es compatible), más un almacén de configuración para el estado de toda la instancia |
| Procesos distintos que operar | 2 roles (broker, controlador) | 3 o más (broker, bookie, almacén de metadatos) |
| Dominio de fallas que analizar | Liderazgo de particiones e ISR | Propiedad de los brokers, ubicación de los ledgers, ensembles de bookies |
| Escalamiento del almacenamiento | Agregar brokers o usar tiered storage | Agregar bookies de forma independiente de los brokers |
Tres tipos de procesos en lugar de dos no descalifican a nadie, pero tampoco son gratis. Los bookies tienen su propia planificación de capacidad, su propia distribución de discos de journal y de ledgers y su propio comportamiento ante fallas, y la cantidad de personas que han depurado un ensemble de BookKeeper a las 3 de la mañana es mucho menor que la de quienes han depurado un broker de Kafka.
Del lado de Kafka, el dolor operativo se concentra en un punto específico: el rebalanceo de los consumer groups. Si todavía no tuvo que lidiar con eso, qué dispara un rebalanceo de Kafka y cómo diagnosticar el consumer lag de Kafka lo explican. Kafka 4.0 también llevó a disponibilidad general el nuevo protocolo de rebalanceo de consumidores (KIP-848), habilitado por defecto del lado del servidor y que los consumidores adoptan con group.protocol=consumer, lo que elimina la barrera global stop-the-world que causaba la mayor parte del daño.
Si ejecuta cualquiera de los dos en Kubernetes, tenga en cuenta que la separación del almacenamiento cambia bastante la forma del despliegue: Kafka en EKS, AKS y GKE cubre el lado de Kafka.
¿En qué se diferencia la multitenencia entre Kafka y Pulsar?
Esta es la ventaja estructural más clara de Pulsar, y la diferencia es grande.
Pulsar se construyó como multitenant. Un tenant es una unidad administrativa para asignar capacidad y aplicar autenticación o autorización, un tenant contiene namespaces y los topics se direccionan como persistent://tenant/namespace/topic. Las políticas que importan en la operación, como la retención y las cuotas de almacenamiento, se aplican a nivel de namespace, así que la retención descontrolada de un equipo se contiene por configuración y no con una conversación.
Kafka tiene autenticación, ACL y cuotas por cliente, y se puede llegar lejos con una convención de nombres para los topics más ACL bien disciplinadas. Pero no existe una jerarquía de tenencia. En Kafka, el aislamiento es algo que usted impone; en Pulsar, es algo que la plataforma le da.
Si está construyendo una plataforma en la que cada cliente o cada equipo interno recibe su propia porción, esa diferencia se acumula trimestre tras trimestre. Si opera un solo pipeline para un solo equipo, no vale absolutamente nada.
¿Cómo se comparan la georreplicación y el tiered storage?
Georreplicación. Pulsar la trae de fábrica. La replicación se configura por namespace y admite topologías de malla completa, activo-activo y agregación. Por defecto es asíncrona (los mensajes se persisten en el clúster local y luego los brokers los replican), con replicación síncrona disponible mediante BookKeeper entre datacenters a costa de la latencia. Un quórum aparte del almacén de configuración coordina el estado de toda la instancia que hace posible esto.
Kafka replica entre clústeres con MirrorMaker 2 o un equivalente de un fabricante, como Cluster Linking de Confluent. Funciona, está ampliamente desplegado y es, además, un sistema aparte que hay que desplegar, monitorear y entender, incluida la traducción de offsets, que es donde se esconden la mayoría de las sorpresas del failover de consumidores entre clústeres.
Tiered storage. Ambos lo tienen, y en ambos está listo para producción.
- La implementación de Kafka (KIP-405) quedó lista para producción en la versión 3.9 y descarga los segmentos de log más antiguos a un almacenamiento externo conectable, mientras los brokers conservan localmente los datos recientes.
- Pulsar descarga los segmentos sellados, de solo lectura, a Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS o un sistema de archivos. La descarga puede dispararse por el tamaño del backlog, la antigüedad de los mensajes, un comando de administración manual o una política a nivel de namespace, y se ejecuta de forma asíncrona en segundo plano.
La versión de Pulsar es más madura simplemente porque llegó años antes y su almacenamiento basado en segmentos se prestaba a ello de forma natural. La de Kafka cerró la mayor parte de la brecha práctica. Para un despliegue nuevo en 2026, el tiered storage ya no es el factor decisivo entre Kafka y Pulsar que era en 2022.
¿Y las colas y las confirmaciones por mensaje?
Históricamente, esta era la brecha de capacidades más genuina entre Kafka y Pulsar, y es la que se cerró más recientemente.
Pulsar ofrece cuatro tipos de suscripción: exclusive (la predeterminada, un solo consumidor), failover (un primario con consumidores en espera), shared (round-robin entre consumidores, cada mensaje a exactamente uno) y key_shared (los mensajes con la misma clave siempre van al mismo consumidor). Admite confirmación individual y acumulativa, confirmación negativa, retry letter topics y dead letter topics, y deduplicación de mensajes del lado del servidor. Ese conjunto cubre patrones de cola de trabajo que un consumer group clásico de Kafka no puede expresar, porque una partición de Kafka se asigna a exactamente un consumidor del grupo.
Kafka respondió con los share groups (KIP-932). Pasaron a acceso anticipado en 4.0, a versión preliminar en 4.1 y quedaron listos para producción en Apache Kafka 4.2. Los consumidores de un share group consumen de forma cooperativa sin fijar una partición a un solo consumidor, con confirmación por registro y conteo de intentos de entrega. Eso está mucho más cerca de la shared subscription de Pulsar y elimina lo que antes era un motivo real para elegir Pulsar en cargas de trabajo con forma de cola.
Si su evaluación se basa en una comparativa escrita antes de 2026, contraste esta sección con las release notes actuales: es la parte de toda la comparación que cambia más rápido.
¿Cuál tiene el ecosistema y el mercado de talento más grandes?
Kafka, por un amplio margen, y no es una conclusión que valga la pena matizar.
Kafka Connect tiene cientos de conectores. Kafka Streams y ksqlDB están ampliamente desplegados. Todos los procesadores de streams importantes (Flink, Spark y el resto) tratan a Kafka como fuente y destino de primer nivel. Todos los proveedores de observabilidad incluyen dashboards de Kafka. Todas las nubes ofrecen un Kafka administrado o un endpoint compatible con Kafka. Y, lo más importante, se puede contratar a personas que han operado Kafka en producción.
Pulsar tiene equivalentes reales: conectores de Pulsar IO, Pulsar Functions para procesamiento liviano y Pulsar SQL para consultar topics. El catálogo es más chico, la superficie de integración con terceros es más reducida y el conocimiento operativo está concentrado en menos personas y en un conjunto más pequeño de proveedores.
En una decisión de arquitectura, esto pesa más de lo que admiten la mayoría de los análisis de Kafka frente a Pulsar. El costo de una plataforma poco conocida no se paga al momento de elegirla. Se paga a las 3 de la mañana, dieciocho meses después, y lo paga quien esté de guardia.
Kafka frente a Pulsar: ¿cuál conviene elegir?
- Elija Kafka cuando quiera el ecosistema y el mercado de talento más grandes, cuando su carga de trabajo sea un pipeline de alto throughput sin complicaciones, cuando quiera operar la menor cantidad posible de tipos de procesos o cuando necesite un servicio administrado en cualquier nube sin un contrato con terceros.
- Elija Pulsar cuando la multitenencia sea un requisito del producto y no algo deseable, cuando necesite georreplicación integrada por namespace entre varias regiones, cuando el almacenamiento y el cómputo realmente necesiten escalar de forma independiente o cuando los datos de un solo topic no quepan con holgura en los discos de un solo broker.
- No migre por elegancia. La arquitectura de Pulsar es más limpia de maneras que es fácil admirar en un pizarrón. Si no puede nombrar la restricción específica que elimina para su carga de trabajo, la migración le costará herramientas, recapacitación y conocimiento institucional a cambio de un diagrama que le gusta más.
El resumen honesto: no es un caso en el que un sistema esté rezagado. Las brechas que antes hacían obvia la elección entre Kafka y Pulsar en cualquiera de las dos direcciones (ZooKeeper, tiered storage, semántica de colas) se redujeron todas desde 2024. Lo que queda es una pregunta genuina de arquitectura, sobre si necesita que servir y almacenar escalen por separado, y una pregunta genuina de organización, sobre qué plataforma puede operar realmente su equipo.
¿Kafka alcanzó a Pulsar en multitenencia y tiered storage?
En almacenamiento, en gran medida sí. En tenencia, no.
El tiered storage de Kafka saca del disco local los segmentos de log cerrados y los lleva a un almacenamiento de objetos, mientras el broker sigue siendo lo único con lo que habla un cliente. Los consumidores que leen offsets recientes acceden al conjunto caliente local; los que leen offsets más antiguos disparan una lectura remota que el broker devuelve por la misma API de fetch. La retención local pasa a ser una decisión de dimensionamiento de caché y no de capacidad, y una partición puede guardar meses de historial sin necesitar meses de disco. Cómo interactúan los ajustes de retención local y remota se explica en nuestra guía sobre la política de retención de Kafka.
Pulsar llegó aquí años antes mediante los offloaders de BookKeeper y conserva dos ventajas reales: la descarga es una política de namespace y no un ajuste por topic, y como los bookies siempre fueron la capa de almacenamiento, el disco del broker nunca entró en juego. La implementación de Kafka todavía tiene aristas. Los topics compactados no pueden pasar a tiered storage, las lecturas de puesta al día en frío pagan la latencia de la lectura remota y el plugin de almacenamiento remoto es algo que usted elige y opera. Para una retención larga en un flujo de eventos común, los dos están lo bastante cerca como para que el almacenamiento no sea lo que decida la plataforma.
La tenencia es otra historia. En Pulsar, un tenant es dueño de namespaces, un namespace es dueño de topics, y las cuotas, la retención, la descarga, la replicación y los permisos se asocian al namespace. Kafka llega bastante lejos con convenciones: un prefijo de topic por equipo, ACL con prefijo sobre ese patrón, cuotas por principal y un clúster aparte cuando un equipo hace tanto ruido que perjudica a los demás. Pero es disciplina sobre un espacio de nombres plano, no un modelo que el broker haga cumplir. Una ACL mal escrita puede abrirle un prefijo al equipo equivocado, y nada reúne los ajustes de un equipo en un único objeto que se pueda inspeccionar.
Nuestro veredicto: Kafka cerró la brecha de almacenamiento y la mayor parte de la brecha operativa. Pulsar sigue teniendo el modelo de tenencia más limpio, y el precio es BookKeeper más su almacén de metadatos funcionando como un segundo sistema con estado junto a los brokers.
En nuestros proyectos, muchas menos organizaciones necesitan una tenencia de primer nivel que las que preguntan por ella. Importa cuando un equipo de plataforma atiende a decenas de equipos de aplicaciones con aislamiento estricto, chargeback y aprovisionamiento de autoservicio. No importa en una empresa con tres o cuatro equipos productores en la misma rotación de guardia, que es la descripción de la mayoría de las empresas con las que trabajamos.
BookKeeper frente al log de Kafka: por qué la capa de almacenamiento define la operación
Casi todas las diferencias operativas entre los dos se remontan a dónde viven los bytes.
Un broker de Kafka es dueño de sus particiones: segmentos de log en su disco local, réplicas en los discos locales de otros brokers y controladores KRaft que registran quién lidera qué. La capacidad de almacenamiento es la capacidad del broker. Cuando un disco se llena o un broker se sobrecarga, la solución es una reasignación de particiones, que copia los datos de las réplicas por la red y espera a que se pongan al día. Está limitada en velocidad, compite con el tráfico en vivo y tarda horas en una partición grande. Definir bien desde el principio la cantidad de particiones y la distribución de las claves, como explicamos en estrategia de particiones de Kafka, consiste en gran medida en evitar eso más adelante.
Los brokers de Pulsar no guardan datos. Un topic es un managed ledger, cada ledger se distribuye en franjas sobre un ensemble de bookies, y un bookie nuevo simplemente se incluye en el siguiente ledger. Escalar el almacenamiento es agregar bookies: no se mueve nada, no se ejecuta ningún rebalanceo, y la falla de un broker es un cambio de propiedad que se mide en segundos y no una puesta al día de réplicas.
La factura es un segundo sistema con estado con su propio vocabulario. Cada ledger tiene un tamaño de ensemble, un write quorum y un ack quorum, y la relación entre los tres define tanto la durabilidad como cuántos bookies se pueden perder. Cuando un bookie muere, la autorecuperación debe detectar los ledgers con replicación insuficiente y volver a replicarlos; si está mal configurada o deshabilitada, algo que hemos encontrado en clústeres que heredamos, el clúster funciona en silencio con menos redundancia de la que todos creen. La recuperación de ledgers durante un failover tiene que bloquear (fencing) al dueño anterior y asentar la última entrada antes de que el nuevo broker atienda lecturas.
Las rutas de escritura tienen formas distintas. Un produce de Kafka llega a la page cache del líder, se reparte a los seguidores y se confirma cuando lo tienen las réplicas sincronizadas: un salto desde el cliente, con la durabilidad definida por acks y min.insync.replicas. Un produce de Pulsar va al broker, que escribe en el ensemble en paralelo; cada bookie hace fsync de una entrada en el journal antes de escribir el ledger, y el broker confirma al alcanzar el ack quorum. Dos saltos y un fsync en la ruta crítica explican por qué la latencia de escritura p99 de Pulsar es más alta que la de Kafka con la misma durabilidad.
La detección de fallas sigue la misma división. Un problema de Kafka suele ser una partición con replicación insuficiente o un broker que dejó de liderar, y todos los stacks de monitoreo conocen esas métricas. Las fallas de Pulsar se esconden en la capa que no está mirando: brokers sanos, bookies sanos y la autorecuperación atrasada en silencio.
Esa es la realidad de la dotación de personal. Los ingenieros que han operado Kafka en producción abundan. Los que pueden razonar sobre los quórums de BookKeeper a las 3 de la mañana escasean. Nuestras notas sobre Kafka en Kubernetes cubren los ajustes de almacenamiento que acortan la distancia, pero nada la elimina.
La arquitectura de Pulsar justifica su complejidad cuando necesita escalar el almacenamiento de forma independiente del servicio, ejecutar decenas de miles de topics o contar con tenencia por namespace para evitar un clúster por equipo. En los demás casos, la capa de almacenamiento más simple de Kafka es el mejor equilibrio, y podemos ayudarle a diseñarla o a mantenerla en funcionamiento.
Obtenga una evaluación de streaming independiente de los fabricantes
¿Está evaluando una plataforma de streaming o necesita soporte para una que ya opera? AceMQ realiza evaluaciones independientes de los fabricantes que parten de la carga de trabajo y no del diagrama de arquitectura: conozca la consultoría de Kafka y el soporte y la consultoría de Apache Kafka, o hable con un ingeniero de AceMQ.
Preguntas frecuentes
¿Cuál es la principal diferencia entre Kafka y Pulsar?
Los brokers de Kafka se encargan tanto de servir como de almacenar las particiones que alojan, así que escalar el almacenamiento y escalar el cómputo son la misma operación. Pulsar los separa: los brokers sin estado atienden el tráfico y Apache BookKeeper almacena los datos como ledgers segmentados. Esa sola decisión explica la mayoría de las demás diferencias.
¿Pulsar es más difícil de operar que Kafka?
Tiene más piezas móviles: brokers, bookies y un almacén de metadatos, frente a los brokers y controladores de Kafka desde que ZooKeeper se eliminó en la versión 4.0. Que eso resulte más difícil depende de si los componentes adicionales le aportan algo. En un pipeline de un solo tenant, por lo general no.
¿Pulsar todavía necesita ZooKeeper?
No necesariamente. Pulsar admite varios backends de almacén de metadatos y ahora recomienda Oxia, aunque ZooKeeper sigue siendo compatible y apto para producción. Las comparativas antiguas que se apoyan en que Pulsar necesita ZooKeeper y Kafka no están desactualizadas en ambos lados.
¿Cuál es mejor para la multitenencia?
Pulsar, claramente. Los tenants y los namespaces son conceptos de primer nivel, los topics se direccionan como persistent://tenant/namespace/topic y la retención y las cuotas de almacenamiento se aplican por namespace. Kafka tiene ACL y cuotas, pero no una jerarquía de tenencia, así que el aislamiento es una convención que usted impone y no una estructura que la plataforma le da.
¿Kafka admite colas como las shared subscriptions de Pulsar?
Sí, desde Apache Kafka 4.2. Los share groups (KIP-932) quedaron listos para producción en esa versión, tras el acceso anticipado en 4.0 y la versión preliminar en 4.1. Permiten un consumo cooperativo sin fijar una partición a un solo consumidor, con confirmación por registro, algo más cercano a la shared subscription de Pulsar que a un consumer group clásico.
¿Ambos admiten tiered storage?
Sí. El tiered storage de Kafka (KIP-405) quedó listo para producción en la versión 3.9. Pulsar descarga los segmentos sellados a S3, Google Cloud Storage, Azure Blob, Alibaba OSS o un sistema de archivos, según el tamaño, la antigüedad, un comando manual o una política de namespace.
¿Cuál tiene mejor georreplicación?
Pulsar la trae integrada, configurada por namespace, con patrones de malla completa, activo-activo y agregación, y opciones tanto asíncronas como síncronas. Kafka replica entre clústeres con MirrorMaker 2 o un equivalente comercial, que funciona bien pero es un componente aparte que usted debe operar y monitorear.
¿Conviene migrar de Kafka a Pulsar?
Solo por un motivo concreto que pueda nombrar: multitenencia real, georreplicación por namespace o escalamiento independiente del almacenamiento y el cómputo. Migrar por elegancia arquitectónica significa pagar un costo real en herramientas, contrataciones y conocimiento institucional a cambio de un beneficio que quizá no use.
¿Pulsar es más simple de operar que Kafka?
No. Los brokers sin estado de Pulsar hacen que las fallas de un broker individual y la ampliación del almacenamiento sean más simples que la reasignación de particiones de Kafka, pero la plataforma en su conjunto tiene más componentes con estado: brokers, bookies de BookKeeper y un almacén de metadatos, cada uno con sus propios modos de falla, su distribución en disco y su monitoreo. Kafka con KRaft es un solo tipo de proceso con discos locales. Si su equipo ya opera Kafka, Pulsar representa un aumento neto de la superficie operativa, y es más difícil contratar perfiles que sepan operar bien BookKeeper que perfiles de Kafka.
Fuentes
- Apache Pulsar — Descripción general de la arquitectura (brokers, BookKeeper, managed ledgers, almacén de metadatos)
- Apache Pulsar — Multitenencia
- Apache Pulsar — Georreplicación
- Apache Pulsar — Tiered storage
- Apache Kafka — Anuncio del lanzamiento de 4.0.0 (solo KRaft, KIP-848 en GA)
- Apache Kafka — Anuncio del lanzamiento de 4.2.0 (share groups listos para producción)
- Apache Kafka — Tiered storage
Talk to an engineer
Need a hand with Kafka?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guías, comparativas e investigación

