Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Corregir la forma de las inserciones para que los merges den abasto

Plataforma de medición publicitaria (adtech)

Resolución de fallos de ingesta en los que inserciones pequeñas y frecuentes generaban parts más deprisa de lo que los merges en segundo plano podían retirarlas, hasta superar el límite de parts.

Descripción general

Una plataforma de medición empezó a rechazar inserciones con errores de too many parts durante los picos de tráfico. Cada instancia de la aplicación insertaba lotes pequeños de filas con un temporizador corto, lo que creaba muchas más parts de las que el planificador de merges era capaz de retirar. AceMQ intervino con el SLA de emergencia.

Reto

El límite de parts es una salvaguarda, no el problema: subirlo solo permite que la tabla se degrade todavía más, hasta que las consultas se arrastran leyendo miles de parts. Las causas reales eran el tamaño de los lotes de inserción, su frecuencia y una clave de partición con una cardinalidad tan alta que cada inserción tocaba muchas particiones a la vez, lo que multiplicaba la creación de parts.

Entorno

Clúster de ClickHouse en AWS que ingiere flujos de eventos desde Kafka para la medición de campañas en tiempo real.

Enfoque

AceMQ midió el ritmo de creación de parts frente al throughput de merges en cada tabla para cuantificar el desfase real y, después, atacó primero la forma de las inserciones, porque ningún ajuste de los merges compensa unas inserciones que llegan con la forma equivocada. El cambio de la clave de partición se realizó por fases para que los datos existentes siguieran siendo consultables en todo momento.

Solución

  1. Medición del ritmo de creación de parts frente al throughput de merges por tabla para cuantificar el déficit real
  2. Consolidación de muchas inserciones pequeñas de la aplicación en menos lotes de mayor tamaño mediante una capa de ingesta con búfer
  3. Reducción de la cardinalidad de la clave de partición para que cada inserción tocara un número acotado de particiones
  4. Reajuste del tamaño del pool de merges en segundo plano y de los parámetros de merge en función de la CPU y la E/S disponibles
  5. Cambio de la clave de partición por fases para que los datos existentes siguieran siendo consultables durante la transición
  6. Incorporación a las alertas del número de parts por tabla y del backlog de merges, con un margen amplio antes del umbral de rechazo

Resultado final

Los rechazos de inserciones cesaron y el número de parts volvió a un rango en el que los merges mantienen el ritmo durante los picos de tráfico. Como efecto secundario, el rendimiento de las consultas mejoró, ya que los escaneos ya no tenían que abrir miles de parts por tabla.

Tecnologías

ClickHouseKafkaKubernetesPrometheus

¿Se enfrenta a un problema de ClickHouse en producción?

Los ingenieros sénior de ClickHouse de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.