Powrót do wszystkich studiów przypadków

Usuwanie problemówProdukcja / motoryzacja

Naprawa wzorca dostępu, a nie tylko podniesienie progu tombstone'ów

Dostawca telematyki pojazdów

Usunięcie timeoutów odczytu spowodowanych narastaniem tombstone'ów na partycjach używanych jak kolejka, gdzie usunięcia wyprzedzały kompakcję i gc_grace_seconds.

Przegląd

Dostawca usług telematycznych używał tabeli Cassandry jako kolejki zadań: zapisywał wiersze i usuwał je po przetworzeniu. Zapytania odczytu zaczęły przekraczać limit czasu, ponieważ koordynatorzy skanowali dziesiątki tysięcy tombstone'ów, by zwrócić kilka żywych wierszy. AceMQ zaangażowano w ramach awaryjnego SLA.

Wyzwanie

Tombstone'y pozostają odczytywalne, dopóki nie upłynie gc_grace_seconds i kompakcja ich nie usunie — mechanizm ten zapobiega „zmartwychwstaniu” usuniętych danych na węźle, który przegapił usunięcie. Naprawy (repair) nie kończyły się w całym pierścieniu, więc obniżenie gc_grace_seconds niosło realne ryzyko przywrócenia usuniętych danych. Zespół podnosił progi ostrzeżeń i błędów dla tombstone'ów, co ukrywało objaw, podczas gdy rzeczywisty koszt skanowania wciąż rósł.

Środowisko

Wielocentrowy klaster Apache Cassandra na bare metal, przyjmujący telemetrię pojazdów w dużym wolumenie.

Podejście

AceMQ oddzieliło działania przynoszące natychmiastową ulgę od trwałej naprawy. Niezawodne kończenie się naprawy było warunkiem koniecznym jakiejkolwiek zmiany gc_grace_seconds, a zmiana modelu danych była niezbędna, ponieważ kolejka na szerokiej partycji generuje tombstone'y szybciej, niż kompakcja jest w stanie je usuwać, niezależnie od ustawień.

Rozwiązanie

  1. Wskazanie konkretnych partycji i kształtów zapytań skanujących największą liczbę tombstone'ów
  2. Przywrócenie niezawodnego kończenia się naprawy w całym pierścieniu jako warunku zmiany gc_grace_seconds
  3. Przeniesienie obciążenia kolejkowego z wzorca szerokich partycji na partycje dzielone według przedziałów czasu z wygasaniem przez TTL
  4. Zmiana strategii kompakcji dla dotkniętych tabel na dopasowaną do wzorca zapisów i usunięć
  5. Przywrócenie pierwotnych progów tombstone'ów, aby problem znów był widoczny, a nie tłumiony
  6. Ukierunkowana kompakcja w kontrolowanym oknie w celu usunięcia istniejącej zaległości tombstone'ów

Efekt

Timeouty odczytu na dotkniętych tabelach ustały, a opóźnienie odczytu p99 znacząco spadło, gdy liczba skanowanych tombstone'ów zmalała o rzędy wielkości. Naprawa kończy się teraz zgodnie z harmonogramem, co zamknęło też ryzyko przywrócenia usuniętych danych, o którym klient nie wiedział.

Technologie

Apache CassandraKubernetesPrometheusLinux

Problem produkcyjny z Apache Cassandra?

Starsi inżynierowie Apache Cassandra w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.