Torna a tutti i casi d'uso

ConsulenzaTrasversale

Modellare i dati sulle query che si eseguono davvero

Fornitore di servizi di identità digitale

Riprogettazione delle partition key e dell'ordine di clustering per eliminare le partizioni senza limiti e le query su indici secondari che coinvolgevano ogni nodo.

Panoramica

Un fornitore di servizi di identità aveva modellato le tabelle Cassandra come avrebbe fatto con quelle relazionali, aggiungendo poi indici secondari per coprire le query non servite dalla chiave primaria. Alcune partizioni erano cresciute fino a diversi gigabyte e le query basate sugli indici si distribuivano su ogni nodo dell'anello. AceMQ è stata incaricata di riprogettare il modello.

Sfida

Cassandra premia la modellazione costruita attorno ai pattern di query e penalizza quella costruita attorno alle entità. La riprogettazione doveva limitare la crescita delle partizioni, far sì che le query principali della piattaforma venissero servite da un solo replica set ed essere adottabile in modo incrementale: il fornitore non poteva sospendere le scritture per ricostruire le tabelle in blocco.

Ambiente

Apache Cassandra su Kubernetes a supporto dei servizi di verifica dell'identità e di gestione del ciclo di vita delle credenziali.

Approccio

AceMQ ha censito ogni query emessa dall'applicazione e ha ricavato a ritroso le tabelle necessarie per servirle, accettando la denormalizzazione dove eliminava il fan-out. Il dimensionamento delle partizioni è stato proiettato su diversi anni di crescita anziché sui volumi attuali, e la migrazione è stata progettata con doppia scrittura, così che il cutover non richiedesse alcuna finestra di fermo.

Soluzione

  1. Censimento dei pattern di query reali dell'applicazione e derivazione da questi dei design di tabella necessari
  2. Introduzione di bucketing temporale e per hash per limitare la crescita delle partizioni su proiezioni pluriennali
  3. Sostituzione delle query su indici secondari con tabelle denormalizzate dedicate, per eliminare il fan-out sull'intero cluster
  4. Scelta delle clustering key e dell'ordinamento per servire range scan e paginazione senza ordinamenti in memoria
  5. Progettazione di un percorso di migrazione con doppia scrittura e backfill, così che il cutover non richiedesse il blocco delle scritture
  6. Definizione di soglie su dimensione delle partizioni e numero di righe, con monitoraggio per intercettare regressioni negli sviluppi futuri

Esito

Le query con fan-out sull'intero cluster sono state eliminate dal percorso critico e le partizioni più grandi sono rientrate entro un ordine di grandezza dal limite consigliato. La latenza di lettura è diventata prevedibile su tutto lo spazio delle chiavi, invece di variare con la dimensione delle partizioni.

Tecnologie

Apache CassandraKubernetesKafkaPrometheus

Vi servono indicazioni sull'architettura Apache Cassandra?

Gli ingegneri Apache Cassandra senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.