Volver a todos los casos de uso

SoporteMultisectorial

Soporte 24/7 para ClickHouse con ingenieros sénior y objetivos de respuesta desde 15 minutos, según el plan

Proveedor de analítica de ciberseguridad

Soporte continuo para clústeres con ReplicatedMergeTree que abarca colas de replicación detenidas, fallas por límite de memoria en consultas grandes y backlogs de mutations.

Descripción general

Un proveedor de analítica de seguridad tenía tablas ReplicatedMergeTree en un clúster con varios shards. Las colas de replicación se detenían detrás de entradas atascadas, las consultas ad hoc de los analistas alcanzaban los límites de memoria y fallaban, y las mutations de borrado se acumulaban sin completarse. AceMQ asumió el soporte con ingenieros sénior asignados y sin triaje de nivel 1.

Desafío

Los modos de falla de ClickHouse son desconocidos para los equipos que vienen de bases de datos orientadas a filas. Una entrada detenida en la cola de replicación bloquea todo lo que tiene detrás y requiere una intervención deliberada. A las fallas por límite de memoria en las consultas de los analistas se respondía aumentando los límites, lo que en cambio acercaba al clúster a la presión de memoria a nivel del host. Las mutations se emitían como borrados de rutina, sin tener en cuenta el costo de reescritura que imponen.

Entorno

ClickHouse en Kubernetes con coordinación mediante ClickHouse Keeper, al servicio de la búsqueda y la analítica de eventos de seguridad.

Enfoque

AceMQ estableció procedimientos de diagnóstico para cada clase de falla recurrente, de modo que el equipo del cliente pudiera resolver directamente los casos comunes y reservar el escalamiento para los incidentes realmente nuevos. Los controles a nivel de consulta reemplazaron los aumentos generalizados de los límites de memoria, y el uso de mutations pasó a regirse por una política.

Solución

  1. Procedimientos de diagnóstico y recuperación para entradas detenidas en la cola de replicación y problemas de sesión con Keeper
  2. Reemplazo de los aumentos generalizados del límite de memoria por límites por consulta y por usuario, más spilling controlado a disco
  3. Reescritura de las consultas de analistas de mayor costo para que usen projections y tablas agregadas en lugar de escaneos completos
  4. Definición de una política de mutations que abarca el agrupamiento, la programación y los casos en que la expiración por TTL es la mejor herramienta
  5. Instrumentación del retraso de replicación, el backlog de mutations y el uso de memoria por consulta como señales monitoreadas
  6. Escalamiento 24/7 directo a ingenieros sénior de ClickHouse bajo objetivos de respuesta desde 15 minutos, según el plan

Resultado final

Las detenciones de la replicación ahora se detectan y se resuelven antes de que afecten los resultados de las consultas, y las fallas de consultas relacionadas con la memoria bajaron a una pequeña fracción de su tasa anterior. El equipo del cliente resuelve la mayoría de los casos recurrentes con los runbooks, sin necesidad de escalar.

Tecnologías

ClickHouseClickHouse KeeperKubernetesPrometheus

¿Necesita soporte experto de ClickHouse?

Los ingenieros sénior de ClickHouse de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.