Überblick
Eine Messplattform begann, Inserts zu Spitzenzeiten mit Too-many-parts-Fehlern abzulehnen. Jede Anwendungsinstanz fügte in kurzen Zeitabständen kleine Batches von Zeilen ein und erzeugte damit weit mehr Parts, als der Merge-Scheduler abbauen konnte. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.
Herausforderung
Das Parts-Limit ist eine Schutzschranke, nicht das eigentliche Problem – wer es anhebt, lässt die Tabelle weiter degradieren, bis Abfragen beim Lesen über Tausende von Parts nur noch im Schneckentempo laufen. Die wahren Ursachen waren die Batch-Größe der Inserts, ihre Frequenz und ein Partitionsschlüssel mit so hoher Kardinalität, dass jeder Insert viele Partitionen gleichzeitig berührte und die Erzeugung von Parts vervielfachte.
Umgebung
ClickHouse-Cluster auf AWS, der Event-Streams aus Kafka für die Echtzeitmessung von Kampagnen aufnimmt.
Vorgehen
AceMQ maß pro Tabelle die Rate neu entstehender Parts im Verhältnis zum Merge-Durchsatz, um die tatsächliche Lücke zu beziffern, und setzte dann zuerst bei der Form der Inserts an – denn kein noch so gutes Merge-Tuning gleicht Inserts aus, die in der falschen Form ankommen. Die Änderung des Partitionsschlüssels wurde schrittweise umgesetzt, sodass die vorhandenen Daten durchgehend abfragbar blieben.
Lösung
- Rate neu entstehender Parts pro Tabelle im Verhältnis zum Merge-Durchsatz gemessen, um das tatsächliche Defizit zu beziffern
- Viele kleine Inserts der Anwendung über eine puffernde Ingestion-Schicht zu wenigen großen Batches zusammengefasst
- Kardinalität des Partitionsschlüssels reduziert, sodass jeder Insert nur eine begrenzte Zahl von Partitionen berührt
- Größe des Merge-Pools im Hintergrund und Merge-Einstellungen auf die verfügbare CPU- und I/O-Kapazität neu abgestimmt
- Änderung des Partitionsschlüssels schrittweise umgesetzt, sodass die vorhandenen Daten während der Umstellung abfragbar blieben
- Anzahl der Parts pro Tabelle und Merge-Rückstand ins Alerting aufgenommen – mit großem Abstand zur Ablehnungsschwelle
Resultat
Die Ablehnungen von Inserts hörten auf, und die Zahl der Parts sank wieder in einen Bereich, in dem die Merges auch zu Spitzenzeiten mithalten. Als Nebeneffekt verbesserte sich die Abfrageperformance, da Scans nicht mehr Tausende von Parts pro Tabelle öffnen mussten.