Przegląd
Dostawca usług telematycznych używał tabeli Cassandry jako kolejki zadań: zapisywał wiersze i usuwał je po przetworzeniu. Zapytania odczytu zaczęły przekraczać limit czasu, ponieważ koordynatorzy skanowali dziesiątki tysięcy tombstone'ów, by zwrócić kilka żywych wierszy. AceMQ zaangażowano w ramach awaryjnego SLA.
Wyzwanie
Tombstone'y pozostają odczytywalne, dopóki nie upłynie gc_grace_seconds i kompakcja ich nie usunie — mechanizm ten zapobiega „zmartwychwstaniu” usuniętych danych na węźle, który przegapił usunięcie. Naprawy (repair) nie kończyły się w całym pierścieniu, więc obniżenie gc_grace_seconds niosło realne ryzyko przywrócenia usuniętych danych. Zespół podnosił progi ostrzeżeń i błędów dla tombstone'ów, co ukrywało objaw, podczas gdy rzeczywisty koszt skanowania wciąż rósł.
Środowisko
Wielocentrowy klaster Apache Cassandra na bare metal, przyjmujący telemetrię pojazdów w dużym wolumenie.
Podejście
AceMQ oddzieliło działania przynoszące natychmiastową ulgę od trwałej naprawy. Niezawodne kończenie się naprawy było warunkiem koniecznym jakiejkolwiek zmiany gc_grace_seconds, a zmiana modelu danych była niezbędna, ponieważ kolejka na szerokiej partycji generuje tombstone'y szybciej, niż kompakcja jest w stanie je usuwać, niezależnie od ustawień.
Rozwiązanie
- Wskazanie konkretnych partycji i kształtów zapytań skanujących największą liczbę tombstone'ów
- Przywrócenie niezawodnego kończenia się naprawy w całym pierścieniu jako warunku zmiany gc_grace_seconds
- Przeniesienie obciążenia kolejkowego z wzorca szerokich partycji na partycje dzielone według przedziałów czasu z wygasaniem przez TTL
- Zmiana strategii kompakcji dla dotkniętych tabel na dopasowaną do wzorca zapisów i usunięć
- Przywrócenie pierwotnych progów tombstone'ów, aby problem znów był widoczny, a nie tłumiony
- Ukierunkowana kompakcja w kontrolowanym oknie w celu usunięcia istniejącej zaległości tombstone'ów
Efekt
Timeouty odczytu na dotkniętych tabelach ustały, a opóźnienie odczytu p99 znacząco spadło, gdy liczba skanowanych tombstone'ów zmalała o rzędy wielkości. Naprawa kończy się teraz zgodnie z harmonogramem, co zamknęło też ryzyko przywrócenia usuniętych danych, o którym klient nie wiedział.