Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Corregir la forma de las inserciones para que los merges den abasto

Plataforma de medición de adtech

Resolución de fallas de ingesta en las que inserciones pequeñas y frecuentes generaban parts más rápido de lo que los merges en segundo plano podían retirarlas, hasta alcanzar el límite de parts.

Descripción general

Una plataforma de medición empezó a rechazar inserciones con errores de too many parts durante los picos de tráfico. Cada instancia de la aplicación insertaba lotes pequeños de filas con un temporizador corto, lo que creaba muchísimas más parts de las que el scheduler de merges podía retirar. AceMQ intervino bajo el SLA de emergencia.

Desafío

El límite de parts es una barrera de protección, no el problema: subirlo deja que la tabla se degrade aún más, hasta que las consultas se arrastran leyendo miles de parts. Las causas reales eran el tamaño de los lotes de inserción, la frecuencia de las inserciones y una clave de partición con una cardinalidad tan alta que cada inserción tocaba muchas particiones a la vez y multiplicaba la creación de parts.

Entorno

Clúster de ClickHouse en AWS que ingiere flujos de eventos desde Kafka para la medición de campañas en tiempo real.

Enfoque

AceMQ midió la tasa de creación de parts frente al throughput de merges por tabla para cuantificar la brecha real, y luego atacó primero la forma de las inserciones, porque ningún ajuste de los merges compensa inserciones que llegan con la forma equivocada. El cambio de la clave de partición se hizo por etapas para que los datos existentes siguieran disponibles para consultas en todo momento.

Solución

  1. Medición de la tasa de creación de parts frente al throughput de merges por tabla para cuantificar el déficit real
  2. Consolidación de muchas inserciones pequeñas de la aplicación en menos lotes grandes mediante una capa de ingesta con buffer
  3. Reducción de la cardinalidad de la clave de partición para que cada inserción tocara una cantidad acotada de particiones
  4. Reajuste del tamaño del pool de merges en segundo plano y de la configuración de merges según la CPU y el I/O disponibles
  5. Cambio de la clave de partición por etapas para que los datos existentes siguieran disponibles para consultas durante la transición
  6. Incorporación de la cantidad de parts por tabla y del atraso de merges a las alertas, con bastante margen antes del umbral de rechazo

Resultado final

Los rechazos de inserciones se detuvieron y la cantidad de parts volvió a un rango en el que los merges siguen el ritmo durante los picos de tráfico. Como efecto secundario mejoró el rendimiento de las consultas, ya que los escaneos ya no tenían que abrir miles de parts por tabla.

Tecnologías

ClickHouseKafkaKubernetesPrometheus

¿Enfrenta un problema de ClickHouse en producción?

Los ingenieros sénior de ClickHouse de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.