Descripción general
Una plataforma de medición empezó a rechazar inserciones con errores de too many parts durante los picos de tráfico. Cada instancia de la aplicación insertaba lotes pequeños de filas con un temporizador corto, lo que creaba muchísimas más parts de las que el scheduler de merges podía retirar. AceMQ intervino bajo el SLA de emergencia.
Desafío
El límite de parts es una barrera de protección, no el problema: subirlo deja que la tabla se degrade aún más, hasta que las consultas se arrastran leyendo miles de parts. Las causas reales eran el tamaño de los lotes de inserción, la frecuencia de las inserciones y una clave de partición con una cardinalidad tan alta que cada inserción tocaba muchas particiones a la vez y multiplicaba la creación de parts.
Entorno
Clúster de ClickHouse en AWS que ingiere flujos de eventos desde Kafka para la medición de campañas en tiempo real.
Enfoque
AceMQ midió la tasa de creación de parts frente al throughput de merges por tabla para cuantificar la brecha real, y luego atacó primero la forma de las inserciones, porque ningún ajuste de los merges compensa inserciones que llegan con la forma equivocada. El cambio de la clave de partición se hizo por etapas para que los datos existentes siguieran disponibles para consultas en todo momento.
Solución
- Medición de la tasa de creación de parts frente al throughput de merges por tabla para cuantificar el déficit real
- Consolidación de muchas inserciones pequeñas de la aplicación en menos lotes grandes mediante una capa de ingesta con buffer
- Reducción de la cardinalidad de la clave de partición para que cada inserción tocara una cantidad acotada de particiones
- Reajuste del tamaño del pool de merges en segundo plano y de la configuración de merges según la CPU y el I/O disponibles
- Cambio de la clave de partición por etapas para que los datos existentes siguieran disponibles para consultas durante la transición
- Incorporación de la cantidad de parts por tabla y del atraso de merges a las alertas, con bastante margen antes del umbral de rechazo
Resultado final
Los rechazos de inserciones se detuvieron y la cantidad de parts volvió a un rango en el que los merges siguen el ritmo durante los picos de tráfico. Como efecto secundario mejoró el rendimiento de las consultas, ya que los escaneos ya no tenían que abrir miles de parts por tabla.