Zurück zu allen Kundenbeispielen

SupportBranchenübergreifend

24/7-Support für ClickHouse mit Senior Engineers und Reaktionszeitzielen ab 15 Minuten, je nach Plan

Anbieter von Cybersecurity-Analytics

Laufender Support für ReplicatedMergeTree-Cluster bei blockierten Replication Queues, Speicherlimit-Fehlern bei großen Abfragen und Mutation-Rückständen.

Überblick

Ein Anbieter von Security-Analytics betrieb ReplicatedMergeTree-Tabellen über einen Cluster mit mehreren Shards. Replication Queues blieben hinter hängenden Einträgen stecken, Ad-hoc-Abfragen der Analysten liefen in Speicherlimits und schlugen fehl, und Delete-Mutations stauten sich, ohne abgeschlossen zu werden. AceMQ übernahm den Support mit namentlich zugeordneten Senior Engineers und ohne Tier-1-Triage.

Herausforderung

Die Fehlerbilder von ClickHouse sind Teams, die von zeilenorientierten Datenbanken kommen, wenig vertraut. Ein hängender Eintrag in der Replication Queue blockiert alles dahinter und erfordert gezieltes Eingreifen. Auf Speicherlimit-Fehler bei Analystenabfragen wurde mit höheren Limits reagiert – was den Cluster stattdessen in Richtung Speicherdruck auf Host-Ebene trieb. Mutations wurden als routinemäßige Deletes abgesetzt, ohne Rücksicht auf die Rewrite-Kosten, die sie verursachen.

Umgebung

ClickHouse auf Kubernetes mit Koordination über ClickHouse Keeper, für Suche und Analytics über Security-Events.

Vorgehen

AceMQ etablierte Diagnoseverfahren für jede wiederkehrende Fehlerklasse, damit das Team des Kunden typische Fälle selbst bearbeiten kann und die Eskalation echten Neuerscheinungen vorbehalten bleibt. Kontrollen auf Abfrageebene ersetzten pauschale Erhöhungen der Speicherlimits, und der Umgang mit Mutations wurde verbindlich geregelt.

Lösung

  1. Diagnose- und Recovery-Verfahren für hängende Einträge in der Replication Queue und Probleme mit Keeper-Sessions erstellt
  2. Pauschale Erhöhungen der Speicherlimits durch Limits pro Abfrage und pro Benutzer sowie kontrolliertes Auslagern auf Disk ersetzt
  3. Die teuersten Analystenabfragen so umgeschrieben, dass sie Projections und Aggregattabellen statt Full Scans nutzen
  4. Richtlinie für Mutations eingeführt: Batching, Zeitplanung und wann TTL-basiertes Ablaufen das bessere Werkzeug ist
  5. Replikationsverzögerung, Mutation-Rückstand und Speicherverbrauch pro Abfrage als überwachte Signale instrumentiert
  6. 24/7-Eskalation direkt zu Senior ClickHouse Engineers mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, bereitgestellt

Resultat

Blockierte Replikation wird heute erkannt und aufgelöst, bevor sie Abfrageergebnisse beeinträchtigt, und speicherbedingte Abfragefehler sind auf einen kleinen Bruchteil der früheren Rate gesunken. Das Team des Kunden löst die meisten wiederkehrenden Fälle anhand der Runbooks, ohne zu eskalieren.

Technologien

ClickHouseClickHouse KeeperKubernetesPrometheus

Brauchen Sie Expertensupport für ClickHouse?

Die Senior Engineers von AceMQ für ClickHouse haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.