Health check de Kafka

Health check de Kafka: preparación para KRaft, lag y replicación

Un health check de Kafka es una revisión realizada por ingenieros de un clúster en funcionamiento, contrastada con el uso real que se hace de él: preparación para KRaft, configuración de brokers y controladores, replicación e ISR, sesgo (skew) de particiones, lag de los consumidores, seguridad, retención y la monitorización que debería haber detectado el último incidente. Recibe un informe por escrito, una lista de correcciones priorizada y el razonamiento detrás de cada hallazgo.

áreas del alcance revisadas en cada clúster
9
semanas desde el arranque hasta la presentación de resultados
1-4
min, el objetivo de respuesta más rápido, según el plan de soporte
15

La confianza de equipos de finanzas, sanidad, defensa, telecomunicaciones y más para Kafka de misión crítica

Clientes

  • Microsoft logo
  • Henry Schein logo
  • Enbridge logo
  • Gojek logo

Partners

  • Broadcom logo
  • Redis logo
  • VMware Tanzu logo
  • OSSeva logo

¿Es su caso?

Probablemente lo necesita si…

  1. 01

    Ejecuta Kafka basado en ZooKeeper y el paso a 4.x no se ha dimensionado

  2. 02

    El lag de los consumidores se dispara en los picos y nadie se pone de acuerdo en si la culpa es de los brokers, las particiones o los clientes

  3. 03

    Quienes montaron el clúster ya no están y el diagrama de topología está desactualizado

  4. 04

    Una auditoría o un cuestionario de seguridad pregunta por las ACL, TLS y la autenticación en los brokers

  5. 05

    El tráfico va a crecer: un lanzamiento, un nuevo pipeline de datos, un despliegue de CDC (captura de datos de cambios)

  6. 06

    Ha superado un incidente sin entenderlo, y podría repetirse

  7. 07

    Está eligiendo entre soporte, Kafka gestionado y una actualización, y quiere conocer los hechos antes de firmar el contrato

Resultados

Dónde está hoy y adónde llegará

Cambios concretos de estado, no recuento de entregables. Esto es lo que realmente cambia en su entorno de Kafka al cerrar el proyecto.

  1. Antes

    Nadie sabe qué versión de Kafka, qué modo ni qué bibliotecas cliente se están usando, ni a qué afectaría una actualización a 4.x.

    Después

    Un inventario por escrito por broker, controlador y grupo de clientes, con la ruta hacia KRaft y el orden de las operaciones detallados.

  2. Antes

    La replicación y la durabilidad se configuraron en la puesta en producción. El negocio da por hecho que no habrá pérdida de datos, y nadie ha comprobado que la configuración lo garantice.

    Después

    Cada clase de topic revisada frente a la pérdida y la disponibilidad que espera el negocio, con las carencias enumeradas y valoradas en coste.

  3. Antes

    El lag, los rebalanceos y las particiones calientes aparecen como incidentes, y cada uno se trata como un caso aislado.

    Después

    Identificamos las causas estructurales: número de particiones, sesgo de claves, configuración de los consumidores y capacidad, cada una con su corrección y su responsable.

  4. Antes

    El equipo sabe que el clúster es frágil, pero no puede priorizar los riesgos ni dimensionar el trabajo.

    Después

    Un plan priorizado en tres bloques: cambiar ya, cambiar antes del próximo salto de crecimiento y correcto tal como está.

¿Reconoce aquí su entorno? Solicite a un ingeniero sénior un presupuesto de health check de Kafka.

Contacto

Alcance

Qué incluye

  • 01

    Preparación para KRaft

    Modo del clúster, versión de metadatos y diseño del quórum de controladores, además del inventario de clientes, workers de Connect, JVM y herramientas de los que depende el paso a Kafka 4.x.

  • 02

    Configuración de brokers y controladores

    Listeners, directorios de logs, heap y caché de páginas, cuotas y configuración de hilos, analizados en función del hardware y la carga de trabajo, con cada valor no predeterminado explicado o señalado.

  • 03

    Replicación e ISR

    Factor de replicación, min.insync.replicas y acks del productor revisados en conjunto, además de la elección de líder no limpia (unclean), el reconocimiento de rack o zona y la frecuencia real con la que se reduce el ISR.

  • 04

    Distribución de particiones y sesgo

    Número de particiones por topic, distribución de claves, equilibrio de líderes entre brokers y topics sin propietario. Las particiones calientes parecen un problema de Kafka y suelen ser un problema de diseño.

  • 05

    Lag de consumidores y grupos

    Patrones de lag a lo largo del tiempo en lugar de una lectura puntual, frecuencia de rebalanceos, configuración de sesión y poll, y qué grupos de consumidores (consumer groups) no dan abasto con su topic.

  • 06

    ACL, TLS y SASL

    Configuración del authorizer, cobertura de ACL y permisos con comodines, TLS en los listeners de clientes y entre brokers, mecanismo SASL, superusuarios y dónde se guardan las credenciales.

  • 07

    Retención y disco

    Retención y compactación por topic frente al crecimiento, margen en los directorios de logs y cuánto tardaría en reconstruirse un broker tras un fallo de disco.

  • 08

    Configuración de los clientes

    Idempotencia del productor, acks, reintentos y batching, estrategia de commit de los consumidores y versiones de las bibliotecas en uso. La mayoría de los incidentes de Kafka empiezan en el lado del cliente.

  • 09

    Carencias de monitorización y alertas

    Si se miden y generan avisos las particiones con replicación insuficiente y offline, la rotación del ISR, la salud del controlador, la latencia de las peticiones, el disco y el lag de los consumidores, y qué habría detectado el último incidente.

¿Quiere que un ingeniero sénior de Kafka defina el alcance con usted? Solicite un presupuesto o envíenos un mensaje.

Contacto

El proyecto

Cómo se desarrolla en la práctica

Cada fase tiene una duración definida y un entregable concreto al final. Siempre sabe en qué fase está y qué ha recibido.

  1. Fase 11 día

    Recogida de información y alcance

    Acordamos qué clústeres entran en el alcance, las versiones de Kafka y el modelo de despliegue (autogestionado, Strimzi, Amazon MSK, Confluent), y las exportaciones de solo lectura que necesitamos. El trabajo se realiza en remoto, guiado por sus ingenieros mediante pantalla compartida. No accedemos a su entorno ni a su código.

    Usted recibe

    • Alcance y lista de clústeres
    • Lista de exportaciones: configuración de brokers y topics, estado de los grupos de consumidores, histórico de métricas
    • Recopilación del historial de incidentes y de los problemas conocidos
  2. Fase 21-4 semanas, según el alcance

    Revisión

    Un ingeniero sénior de Kafka analiza las nueve áreas del alcance a partir de sus exportaciones y métricas, con su equipo presente cuando una decisión requiere contexto. Los hallazgos se contrastan con el lag de los consumidores y el histórico de replicación reales, no con una checklist genérica.

    Usted recibe

    • Inventario por broker, controlador y grupo de clientes
    • Hallazgos respaldados por evidencias
    • Notas sobre KRaft y la ruta de actualización
  3. Fase 3En menos de una semana

    Informe de hallazgos por escrito

    El informe, ordenado según lo que probablemente fallará primero y en qué condiciones. Cada hallazgo incluye la corrección, el esfuerzo necesario y el riesgo de no abordarlo.

    Usted recibe

    • Informe por escrito
    • Plan de corrección priorizado
    • Análisis de carencias de monitorización
  4. Fase 4Al final de la evaluación

    Presentación de resultados y plan

    Una presentación de resultados con el ingeniero que hizo el trabajo y, después, un plan secuenciado que su equipo puede ejecutar o confiarnos. La corrección se presupuesta aparte, de modo que el informe es útil la haga quien la haga.

    Usted recibe

    • Presentación de los hallazgos
    • Plan secuenciado: ya, antes del próximo salto de crecimiento, correcto tal como está

ÂżQuiĂ©n puede hacer un health check de nuestro clĂșster de Kafka?

AceMQ. Un ingeniero sĂ©nior de Kafka revisa su clĂșster en funcionamiento (autogestionado, Strimzi, Amazon MSK o Confluent Platform) contrastĂĄndolo con el uso real que se hace de Ă©l. Recibe un informe por escrito con una lista de correcciones ordenada por prioridad, que le presenta el propio ingeniero que ha realizado la revisiĂłn. AceMQ responde a las solicitudes de presupuesto en menos de 1 hora.

El alcance de un vistazo

  • ConfiguraciĂłn de brokers y controladores, analizada en funciĂłn del hardware y la carga de trabajo
  • ReplicaciĂłn, min.insync.replicas, acks y comportamiento del ISR revisados en conjunto
  • NĂșmero de particiones, sesgo de claves y equilibrio de lĂ­deres
  • Patrones del lag de los consumidores a lo largo del tiempo, frecuencia de rebalanceos, y configuraciĂłn de sesiĂłn y poll
  • Seguridad: authorizer, cobertura de ACL, TLS, SASL, superusuarios y dĂłnde se almacenan las credenciales
  • RetenciĂłn y compactaciĂłn frente al crecimiento y el margen de los directorios de logs
  • ConfiguraciĂłn de los clientes productores y consumidores y versiones de las bibliotecas
  • Carencias de monitorizaciĂłn y alertas frente a su Ășltimo incidente
  • PreparaciĂłn para KRaft y ruta de actualizaciĂłn a Kafka 4.x

Qué recibe

Un informe por escrito con un inventario por broker, controlador y grupo de clientes, hallazgos con evidencias, notas sobre KRaft y la ruta de actualizaciĂłn, y una lista de correcciones priorizada en tres bloques: cambiar ya, cambiar antes del prĂłximo salto de crecimiento y correcto tal como estĂĄ. La correcciĂłn se dimensiona y se presupuesta aparte, de modo que el informe resulta Ăștil con independencia de quiĂ©n ejecute el trabajo.

Cómo funciona el acceso

Exportaciones de solo lectura (configuraciĂłn de brokers y topics, estado de los grupos de consumidores, histĂłrico de mĂ©tricas), entregadas en remoto mediante pantalla compartida. No se toma ningĂșn acceso a su entorno.

Preparación para KRaft en Kafka: qué comprueba la evaluación

Apache Kafka 4.0, publicado el 18 de marzo de 2025, solo admite el modo KRaft. El modo ZooKeeper se ha eliminado, y un clĂșster basado en ZooKeeper debe migrarse a KRaft antes de poder actualizarse a 4.0.x. Una evaluaciĂłn de preparaciĂłn para KRaft responde a una Ășnica pregunta: quĂ© separa a este clĂșster de una versiĂłn 4.x compatible.

Comprobaciones de preparación para Kafka 4.0 y qué inspeccionamos
ÁreaQuĂ© exige Apache Kafka 4.0Qué comprobamos
Modo del clĂșsterSolo KRaft. Los clĂșsteres con ZooKeeper deben migrar a KRaft antes de actualizarse a 4.0.x.Modo actual, versiĂłn de metadatos, distribuciĂłn de los controladores y si ya hay una migraciĂłn en curso.
ClientesLos clientes, incluidos Kafka Streams y Connect, deben estar en la versiĂłn 2.1 o superior.Bibliotecas cliente por aplicaciĂłn y por worker de Connect, y cuĂĄles de ellas son anteriores a la 2.1.
JavaLos brokers, Connect y las herramientas requieren Java 17. Los clientes y Kafka Streams requieren Java 11.Versiones de JVM en todo el parque y aplicaciones que necesitarían cambiar primero de entorno de ejecución (runtime).
ControladoresLos metadatos del clĂșster residen en un quĂłrum de controladores de Kafka en lugar de en un ensemble de ZooKeeper.NĂșmero y ubicaciĂłn de los controladores, roles dedicados o combinados, y disco para el log de metadatos.
OperacionesTodo lo que se comunicaba con ZooKeeper tiene que cambiar.Runbooks, automatizaciĂłn y monitorizaciĂłn que leen de ZooKeeper, y el authorizer de ACL en uso.

Una regla que mantenemos

Nunca combine una migraciĂłn de plataforma con una actualizaciĂłn de versiĂłn en la misma ventana de producciĂłn. El health check ordena en secuencia el paso a KRaft, la actualizaciĂłn de versiĂłn y cualquier cambio en los clientes como cambios independientes.

¿Hablamos de Kafka? Solicite un presupuesto o envíenos un mensaje.

Contacto

Qué incluye el informe de health check de Kafka

El informe estĂĄ pensado para que lo lean tanto el ingeniero que opera el clĂșster como el responsable que financia las correcciones. Esta es la estructura que sigue cada informe. Es una estructura, no un documento de cliente, y no contiene datos de clientes.

Estructura del informe de health check de Kafka
SecciónContenido
1. ResumenLos hallazgos con más probabilidad de provocar una caída o una pérdida de datos, en lenguaje claro y con una calificación de riesgo para cada uno.
2. InventarioBrokers, controladores, versiones de Kafka y Java, sistema operativo, discos, listeners, workers de Connect y grupos de clientes.
3. Registro de hallazgosUna fila por hallazgo: severidad, evidencia, por qué importa, la corrección, el esfuerzo y el riesgo de esperar.
4. KRaft y ruta de actualizaciĂłnPreparaciĂłn frente a Kafka 4.0, elementos bloqueantes y orden de las operaciones.
5. Carencias de monitorizaciónQué se mide y qué genera alertas hoy, qué falta y umbrales sugeridos.
6. Plan de correcciónTres bloques: cambiar ya, cambiar antes del próximo salto de crecimiento y correcto tal como está.
7. AnexoExportaciones de configuración y comprobaciones realizadas, para que un segundo ingeniero pueda verificar cualquier hallazgo.

Un informe con cien observaciones sin jerarquizar no ha hecho la parte difícil, que es priorizarlas. El nuestro sitúa primero los pocos hallazgos importantes y deja el resto para el anexo.

DĂłnde termina este health check

  • Remoto y de solo lectura — Trabajamos a partir de sus exportaciones y de una pantalla compartida, guiados por sus ingenieros. No accedemos a su entorno ni tocamos su código.
  • Sin correcciones en la aplicación — Le indicamos qué ajustes y patrones del cliente debe cambiar y por qué. Sus desarrolladores realizan el cambio.
  • Servicios alojados — En Amazon MSK o Confluent Cloud, el proveedor se encarga de la operaciĂłn de los brokers. Nosotros revisamos el diseño de los topics, los clientes, las ACL y el lag de los consumidores, que siguen siendo responsabilidad suya.
  • Las correcciones se tratan aparte — El informe se sostiene por sí solo. Si quiere que apliquemos nosotros las correcciones, se define el alcance y se presupuesta como un trabajo independiente.

¿Reconoce aquí su entorno? Solicite a un ingeniero sénior un presupuesto de health check de Kafka.

Contacto

Éxito de clientes

Resultados reales con Kafka

Vea por qué las empresas confían en AceMQ para sus cargas de trabajo de Kafka más críticas.

1 / 8 casos de éxito

Todos los casos de uso

Preguntas frecuentes

Preguntas sobre health check de Kafka

¿Qué incluye un health check de Kafka?

Un health check de Kafka incluye nueve ĂĄreas: configuraciĂłn de brokers y controladores, replicaciĂłn e ISR, distribuciĂłn de particiones y sesgo, lag de los consumidores y rebalanceos, seguridad, retenciĂłn, configuraciĂłn de los clientes, carencias de monitorizaciĂłn y preparaciĂłn para KRaft. Termina en un informe por escrito con las evidencias de cada hallazgo y una lista de correcciones priorizada. Revisa el clĂșster en funcionamiento a partir del histĂłrico real de lag y replicaciĂłn, no de una lista de comprobaciĂłn genĂ©rica.

¿Qué abarca la optimización del rendimiento de Kafka y cuånto cuesta?

La optimizaciĂłn del rendimiento de Kafka abarca los ajustes y las decisiones de diseño que limitan el throughput y la latencia: nĂșmero de particiones y claves, batching y acks del productor, configuraciĂłn de poll y commit de los consumidores, hilos de los brokers, margen de disco y red, y retenciĂłn. Un health check detecta dĂłnde mirar; la optimizaciĂłn cambia cosas para corregirlo y se dimensiona como un trabajo aparte. Se presupuesta segĂșn el nĂșmero de clĂșsteres y la profundidad, no por broker. EnvĂ­enos los datos de su clĂșster y le responderemos con el presupuesto en menos de 1 hora.

¿Qué es un health check de Kafka?

Un health check de Kafka es una revisiĂłn estructurada de un clĂșster en funcionamiento, contrastada con el uso real que se hace de Ă©l. Abarca la preparaciĂłn para KRaft, la configuraciĂłn de brokers y controladores, la replicaciĂłn y el ISR, el sesgo de particiones, el lag de los consumidores, las ACL, TLS y SASL, la retenciĂłn y el disco, la configuraciĂłn de los clientes y las carencias de monitorizaciĂłn, y termina en una lista ordenada de lo que va a fallar primero y cĂłmo corregirlo.

ÂżEs lo mismo un health check de Kafka que una evaluaciĂłn de Kafka, una auditorĂ­a del clĂșster o una revisiĂłn de arquitectura?

En la prĂĄctica se solapan. Un health check, una auditorĂ­a del clĂșster de Kafka y una revisiĂłn del clĂșster examinan el clĂșster en funcionamiento y su configuraciĂłn. Una revisiĂłn de arquitectura de Kafka tiene un alcance mĂĄs amplio: analiza cĂłmo encajan los topics, los productores, los consumidores y los pipelines de Connect con el problema de negocio. Ajustamos el alcance del trabajo a la pregunta que usted se plantea y se lo indicamos desde el principio.

¿Cuánto dura un health check de Kafka?

De una a cuatro semanas desde el arranque hasta la presentaciĂłn de resultados, segĂșn la complejidad del entorno, las ĂĄreas que quiera cubrir y cuĂĄntos problemas encontremos por el camino. La recogida de informaciĂłn lleva un dĂ­a, y el informe de hallazgos por escrito llega en la semana posterior a la revisiĂłn. Los entornos con varios clĂșsteres o con una topologĂ­a que depende mucho de Connect se sitĂșan en el extremo mĂĄs largo, y confirmamos el plazo una vez que conocemos el nĂșmero de clĂșsteres y las ĂĄreas de interĂ©s.

ÂżNecesitan acceso a nuestro clĂșster de producciĂłn?

No. Necesitamos visibilidad, no acceso operativo. La configuración de brokers y topics, el estado de los grupos de consumidores, la distribución de particiones y réplicas y el histórico de métricas pueden exportarse y revisarse. El acceso de solo lectura agiliza el trabajo, y en entornos regulados suele bastar una exportación de la configuración mås una sesión de trabajo con sus operadores.

ÂżIncluye la migraciĂłn de ZooKeeper a KRaft?

Incluye la preparaciĂłn: si el clĂșster, los clientes, las versiones de Java y las herramientas pueden pasar a Kafka 4.x, y en quĂ© orden. Apache Kafka 4.0 solo admite el modo KRaft, por lo que un clĂșster basado en ZooKeeper debe migrar antes de poder actualizarse. La migraciĂłn en sĂ­ es un trabajo aparte, descrito en nuestra guĂ­a de migraciĂłn de ZooKeeper a KRaft.

¿En qué se diferencia de la monitorización o del soporte de Kafka de AceMQ?

La monitorizaciĂłn informa de lo que estĂĄ ocurriendo ahora. Un health check le indica quĂ© ocurrirĂĄ en condiciones que todavĂ­a no ha experimentado. El soporte es un SLA sobre un clĂșster que gestiona su equipo, con objetivos de respuesta desde 15 minutos, segĂșn el plan. El health check es un proyecto independiente y tambiĂ©n el primer paso cuando un clĂșster pasa a soporte o a servicios gestionados, de modo que el trabajo no se repite.

¿Cuánto cuesta un health check de Kafka?

Se dimensiona segĂșn el nĂșmero de clĂșsteres y la profundidad de la revisiĂłn, no por broker ni por topic. EnvĂ­enos el nĂșmero de clĂșsteres y su modelo de despliegue, y le responderemos en menos de 1 hora y a continuaciĂłn le enviaremos un presupuesto por escrito.

Hablemos

Reserve un health check de Kafka

Indíquenos cuántos clústeres opera y en qué versión de Kafka están. Definiremos el alcance de la revisión, le responderemos en menos de 1 hora y después le enviaremos un calendario y un presupuesto por escrito.

Escríbanos

Póngase en contacto

Hablar con un experto en Kafka

Envíenos un mensaje y le responderemos en menos de 1 hora, o reserve directamente una consulta gratuita de 30 minutos.

305-204-2607
info@acemq.com
66 W. Flagler St. 9th Floor
Miami, FL 33130

¿Prefiere hablar ahora? Llámenos directamente o utilice la pestaña de consulta para encontrar un horario que le venga bien.

Respondemos en menos de 1 hora.

Elija el horario que le venga bien: sin presión ni discursos comerciales. Solo 30 minutos con un experto.

Respondemos en menos de 1 hora.