Comparativa · Kafka

Kafka vs Kinesis: comparativa

Amazon Kinesis Data Streams y Apache Kafka resuelven el mismo problema, un log de eventos ordenado y reproducible, con modelos operativos muy distintos. Kinesis es una API de AWS cuya capacidad se factura por shards o por volumen de datos. Kafka es software de código abierto que usted mismo ejecuta o contrata como servicio gestionado, por ejemplo Amazon MSK. Esta página los compara a partir de la documentación de AWS y de Apache Kafka consultada el 9 de octubre de 2026.

Tyler Eastridge

Por Tyler Eastridge, Director de Operaciones

LinkedIn · Actualizado el · 7 min de lectura · 7 secciones

En esta página

Respuesta rápida

Respuesta rápida

Elija Kinesis Data Streams cuando la carga de trabajo viva íntegramente en AWS, nadie quiera operar brokers y los consumidores sean servicios de AWS como Lambda, Amazon Data Firehose o Amazon Managed Service for Apache Flink. Elija Kafka, autogestionado o en Amazon MSK, cuando necesite retención superior a 365 días, compactación de logs, procesamiento exactly-once entre topics, Kafka Connect, muchos consumidores independientes o un protocolo que también funcione fuera de AWS. Cuál sale más barato cambia según el volumen y el fan-out: Kinesis factura por shards o por datos movidos; Kafka, por los brokers y el almacenamiento que mantiene en marcha.

Amazon Kinesis Data Streams y Apache Kafka, con los mismos criterios

Amazon Kinesis Data Streams y Apache Kafka, con los mismos criterios
Amazon Kinesis Data StreamsApache Kafka (autogestionado o Amazon MSK)
Unidad de escalaShard: 1 MB/s o 1.000 registros/s de entrada, 2 MB/s de salidaPartición: limitada por el hardware del broker, no por una cuota fija
CapacidadOn-demand Standard, On-demand Advantage o shards aprovisionadosBrokers que usted dimensiona, brokers MSK Standard o Express, o MSK Serverless
Retención24 horas por defecto, hasta 365 días7 días por defecto; por tiempo, tamaño o ilimitada; compactación de logs
OrdenDentro de un shard; la clave de partición se convierte en hash para asignar un shardDentro de una partición; misma clave, misma partición
EntregaAt least once; los reintentos generan duplicadosAt least once; productor idempotente y transacciones para exactly-once
Consumidores2 MB/s por shard compartidos, o enhanced fan-out por consumidor (20, o 50 con On-demand Advantage)Cualquier número de grupos de consumidores; share groups para lecturas al estilo de cola
Tamaño del registroHasta 10 MiBAlrededor de 1 MB por defecto, configurable
Dónde se ejecutaSolo AWSCualquier nube, centro de datos o Kubernetes
Tabla · Amazon Kinesis Data Streams y Apache Kafka, con los mismos criterios. En pantallas pequeñas, desplácese lateralmente.

Cómo funciona Kinesis Data Streams

Un stream de Kinesis es un conjunto de shards. Cada registro lleva una clave de partición, que Kinesis convierte en hash con MD5 para elegir un shard, y recibe un número de secuencia al escribirse. En modo aprovisionado, un shard admite hasta 1 MB/s o 1.000 registros/s y sirve 2 MB/s a los lectores; el tamaño se ajusta con UpdateShardCount o dividiendo y fusionando shards. On-demand Standard elimina esa aritmética: un stream nuevo parte de 4 MB/s de capacidad de escritura y absorbe hasta el doble de su pico de los 30 días anteriores, aunque el tráfico que más que duplica en 15 minutos se limita (throttling). On-demand Advantage, un ajuste a nivel de cuenta, elimina el cargo por stream y permite el precalentamiento antes de un evento, a cambio de comprometerse a un mínimo de 25 MiB/s de ingesta y de recuperación.

La retención es de 24 horas por defecto y puede ampliarse a 8.760 horas, es decir, 365 días. Hay un límite que sorprende a muchos equipos: el modo on-demand divide los shards saturados, pero no puede aislar una clave de partición caliente, así que una sola clave por encima de 1 MB/s o 1.000 registros/s sufre throttling en cualquier modo.

Cómo funcionan Kafka y Amazon MSK

Un topic de Kafka se divide en particiones repartidas entre brokers, cada una un log replicado en disco. La retención se define por topic, siete días por defecto, y puede configurarse por tiempo, por tamaño o como ilimitada. La compactación de logs, para la que Kinesis no tiene equivalente, conserva indefinidamente el último valor de cada clave, de modo que un topic compactado puede servir como fuente de verdad para changelogs y reconstrucciones de estado. Los productores idempotentes y las transacciones ofrecen procesamiento exactly-once entre topics.

Amazon MSK ejecuta Kafka de código abierto en su cuenta de AWS, con brokers Standard o Express o con MSK Serverless. Los clientes, conectores y herramientas existentes funcionan sin cambios. AWS da soporte al servicio; las particiones, los grupos de consumidores y los conectores siguen siendo responsabilidad suya, como detalla la comparativa de opciones de Kafka gestionado.

Ordenación, entrega y consumidores

Ambos ordenan los registros solo dentro de un shard o de una partición, de modo que la clave decide qué se mantiene en secuencia, y ambos entregan at least once. AWS documenta duplicados por reintentos del productor y por consumidores que se reinician desde el último checkpoint tras un fallo o un rebalanceo, y recomienda incluir una clave única en cada registro para deduplicar. Kafka elimina por sí mismo los duplicados del lado del productor y puede confirmar en una sola transacción los offsets consumidos y los registros producidos.

Donde más se diferencian es en el consumo. Los 2 MB/s de un shard de Kinesis y las cinco llamadas GetRecords por segundo se comparten entre todos los consumidores estándar, por lo que AWS recomienda enhanced fan-out cuando hay más de una aplicación consumidora: cada consumidor registrado obtiene sus propios 2 MB/s por shard, hasta el límite máximo por stream. Las aplicaciones KCL guardan leases y checkpoints en una tabla de DynamoDB, un recurso más que dimensionar. Lambda lee cada shard en orden y se detiene en ese shard cuando la función devuelve un error, de modo que un solo registro defectuoso bloquea todo lo que hay detrás. En Kafka, los grupos de consumidores almacenan los offsets en Kafka, cualquier número de grupos puede leer un topic, y los share groups, listos para producción desde Kafka 4.2, añaden un consumo al estilo de cola con confirmación (ack) por registro.

SLA de emergencia de 15 minutos. Ingenieros sénior asignados.

Contacto

Ecosistema y portabilidad

Kinesis se integra de forma nativa con Lambda, Amazon Data Firehose, Managed Service for Apache Flink, EventBridge y Glue; si todos los productores y consumidores son servicios de AWS, es la principal razón para elegirlo. Kafka aporta Kafka Connect, Kafka Streams, schema registries y clientes en la mayoría de lenguajes, y su protocolo también lo hablan MSK, Confluent Cloud, Azure Event Hubs y Redpanda. Una aplicación escrita para Kafka puede moverse entre ellos; una escrita contra la API de Kinesis se queda en AWS.

Qué determina la factura

Las tarifas varían según la región, así que compare los medidores en la página de precios de Kinesis Data Streams en lugar de fiarse de un precio citado. El modo aprovisionado factura shard-horas, unidades de carga PUT contadas en bloques de 25 KB por registro, la retención superior a 24 horas y enhanced fan-out por hora de consumidor-shard y por GB. On-demand Standard factura por GB escrito, con cada registro redondeado a 1 KB, por GB leído, por hora de stream, más la retención y el fan-out. On-demand Advantage elimina el cargo por hora de stream y el sobrecoste del fan-out a cambio de su compromiso mínimo.

La factura de Kafka sigue a la infraestructura. Los clústeres aprovisionados de MSK facturan horas de broker y almacenamiento, más un cargo por GB por los datos escritos en brokers Express, y no cobran la replicación entre brokers; el Kafka autogestionado en EC2 paga el tráfico entre zonas de disponibilidad y, normalmente la partida mayor, a los ingenieros que lo operan. Los streams pequeños, con picos o de un solo consumidor suelen favorecer a Kinesis on-demand; un throughput alto y constante, muchos consumidores o una retención larga suelen favorecer a Kafka.

Cuándo elegir cada uno

  1. ¿Algo se ejecuta fuera de AWS, o podría la carga de trabajo trasladarse? Kafka.
  2. ¿Necesita retención superior a 365 días, compactación o exactly-once entre topics? Kafka.
  3. ¿Leerán el mismo stream muchas aplicaciones independientes? Kafka, sin límite por consumidor.
  4. ¿Es todo AWS, con Lambda, Firehose o Flink como consumidores y sin nadie que opere brokers? Kinesis.

Migrar de Kinesis a Kafka es sobre todo reescribir los consumidores, ya que los checkpoints de DynamoDB no se trasladan: haga el cambio en una posición conocida y mantenga ambos en paralelo hasta que las salidas coincidan.

Cómo hemos hecho la comparativa

Hemos comparado Amazon Kinesis Data Streams con Apache Kafka, autogestionado o en Amazon MSK, según ocho criterios: unidad de escala, capacidad, retención, ordenación, entrega, consumidores, tamaño del registro y dónde se ejecuta cada uno. Las cifras proceden de la documentación de AWS y de Apache Kafka, consultada el 9 de octubre de 2026. La página también explica qué determina cada factura. Los límites de AWS y los valores por defecto de Kafka cambian, así que confírmelos antes de dimensionar un stream.

Preguntas frecuentes

¿Es Kinesis lo mismo que Kafka?

No. Ambos son logs particionados, ordenados y reproducibles, pero Kinesis Data Streams es un servicio de AWS con su propia API y Kafka es software de código abierto con su propio protocolo; los clientes de uno no pueden conectarse al otro. Amazon MSK es el Kafka gestionado de AWS, un servicio distinto de Kinesis.

¿Cuál es la retención máxima en Kinesis Data Streams?

8.760 horas, es decir, 365 días. El valor por defecto es de 24 horas y se modifica con IncreaseStreamRetentionPeriod o DecreaseStreamRetentionPeriod; el almacenamiento más allá de las 24 horas se factura aparte.

¿Es Kinesis más barato que Kafka?

Depende del volumen, del fan-out y de la retención. Kinesis on-demand no tiene infraestructura ociosa, por lo que los streams pequeños o con ráfagas suelen costar menos allí. Un throughput alto y constante leído por muchos consumidores, o datos conservados durante meses, suele costar menos en brokers de Kafka, una vez contado el coste de operarlos.

¿Debo usar Kinesis o Amazon MSK en AWS?

Kinesis, si el pipeline es nativo de AWS de principio a fin y no quiere brokers. MSK, si necesita Kafka Connect, más consumidores de los que permite enhanced fan-out, compactación o mayor retención, o una vía de salida de AWS en el futuro.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos