Überblick
Ein Anbieter von Security-Analytics betrieb ReplicatedMergeTree-Tabellen über einen Cluster mit mehreren Shards. Replication Queues blieben hinter hängenden Einträgen stecken, Ad-hoc-Abfragen der Analysten liefen in Speicherlimits und schlugen fehl, und Delete-Mutations stauten sich, ohne abgeschlossen zu werden. AceMQ übernahm den Support mit namentlich zugeordneten Senior Engineers und ohne Tier-1-Triage.
Herausforderung
Die Fehlerbilder von ClickHouse sind Teams, die von zeilenorientierten Datenbanken kommen, wenig vertraut. Ein hängender Eintrag in der Replication Queue blockiert alles dahinter und erfordert gezieltes Eingreifen. Auf Speicherlimit-Fehler bei Analystenabfragen wurde mit höheren Limits reagiert – was den Cluster stattdessen in Richtung Speicherdruck auf Host-Ebene trieb. Mutations wurden als routinemäßige Deletes abgesetzt, ohne Rücksicht auf die Rewrite-Kosten, die sie verursachen.
Umgebung
ClickHouse auf Kubernetes mit Koordination über ClickHouse Keeper, für Suche und Analytics über Security-Events.
Vorgehen
AceMQ etablierte Diagnoseverfahren für jede wiederkehrende Fehlerklasse, damit das Team des Kunden typische Fälle selbst bearbeiten kann und die Eskalation echten Neuerscheinungen vorbehalten bleibt. Kontrollen auf Abfrageebene ersetzten pauschale Erhöhungen der Speicherlimits, und der Umgang mit Mutations wurde verbindlich geregelt.
Lösung
- Diagnose- und Recovery-Verfahren für hängende Einträge in der Replication Queue und Probleme mit Keeper-Sessions erstellt
- Pauschale Erhöhungen der Speicherlimits durch Limits pro Abfrage und pro Benutzer sowie kontrolliertes Auslagern auf Disk ersetzt
- Die teuersten Analystenabfragen so umgeschrieben, dass sie Projections und Aggregattabellen statt Full Scans nutzen
- Richtlinie für Mutations eingeführt: Batching, Zeitplanung und wann TTL-basiertes Ablaufen das bessere Werkzeug ist
- Replikationsverzögerung, Mutation-Rückstand und Speicherverbrauch pro Abfrage als überwachte Signale instrumentiert
- 24/7-Eskalation direkt zu Senior ClickHouse Engineers mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, bereitgestellt
Resultat
Blockierte Replikation wird heute erkannt und aufgelöst, bevor sie Abfrageergebnisse beeinträchtigt, und speicherbedingte Abfragefehler sind auf einen kleinen Bruchteil der früheren Rate gesunken. Das Team des Kunden löst die meisten wiederkehrenden Fälle anhand der Runbooks, ohne zu eskalieren.