Descripción general
Un proveedor de analítica de seguridad ejecutaba tablas ReplicatedMergeTree en un clúster con varios shards. Las colas de replicación se bloqueaban detrás de entradas atascadas, las consultas ad hoc de los analistas alcanzaban los límites de memoria y fallaban, y las mutaciones de borrado se acumulaban sin completarse. AceMQ asumió el soporte con ingenieros sénior asignados y sin triaje de nivel 1.
Reto
Los modos de fallo de ClickHouse resultan poco familiares para los equipos que vienen de bases de datos orientadas a filas. Una entrada atascada en la cola de replicación bloquea todo lo que hay detrás y requiere una intervención deliberada. Los fallos por límite de memoria en las consultas de los analistas se estaban resolviendo subiendo los límites, lo que empujaba al clúster hacia la presión de memoria a nivel de host. Las mutaciones se lanzaban como borrados rutinarios sin tener en cuenta el coste de reescritura que imponen.
Entorno
ClickHouse en Kubernetes con coordinación mediante ClickHouse Keeper, al servicio de la búsqueda y la analítica de eventos de seguridad.
Enfoque
AceMQ estableció procedimientos de diagnóstico para cada tipo de fallo recurrente, de modo que el equipo del cliente pudiera resolver directamente los casos habituales y la escalada quedara reservada para incidentes realmente nuevos. Los controles a nivel de consulta sustituyeron a los aumentos generalizados del límite de memoria, y el uso de mutaciones pasó a regirse por una política.
Solución
- Procedimientos de diagnóstico y recuperación para entradas atascadas en la cola de replicación y problemas de sesión de Keeper
- Sustitución de los aumentos generalizados del límite de memoria por límites por consulta y por usuario, junto con un volcado controlado a disco
- Reescritura de las consultas de analistas más costosas para usar projections y tablas de agregados en lugar de escaneos completos
- Política de mutaciones que cubre su agrupación, su programación y cuándo la expiración por TTL es la mejor herramienta
- Instrumentación del retraso de replicación, la acumulación de mutaciones y el uso de memoria por consulta como señales monitorizadas
- Escalada 24/7 directa a ingenieros sénior de ClickHouse con objetivos de respuesta desde 15 minutos, según el plan
Resultado final
Los bloqueos de replicación se detectan y se resuelven ahora antes de que afecten a los resultados de las consultas, y los fallos de consultas relacionados con la memoria se redujeron a una pequeña fracción de su tasa anterior. El equipo del cliente resuelve la mayoría de los casos recurrentes con los runbooks sin necesidad de escalar.