Przegląd
Dostawca analityki dla sektora ochrony zdrowia musiał ze względów audytowych przechowywać dane przez wiele lat, ale trzymał wszystko na drogich węzłach hot. AceMQ zaprojektował strategię ILM i podziału na warstwy, która spełnia wymóg retencji, a jednocześnie przenosi większość danych na tańszy storage.
Wyzwanie
Zasady retencji egzekwowały ręcznie pisane skrypty czyszczące, które od czasu do czasu usuwały niewłaściwy wzorzec indeksów. Nie było warstwy warm ani cold, snapshoty wykonywano niekonsekwentnie, a nikt nigdy nie przetestował odtwarzania. Zespół ds. zgodności nie potrafił odpowiedzieć, jak długo faktycznie przechowywana jest dana klasa rekordów, bo odpowiedź zależała od tego, który skrypt jako ostatni zakończył się powodzeniem.
Środowisko
Hybrydowe wdrożenie Elasticsearch z węzłami hot on-premise i chmurowym storage obiektowym dostępnym dla snapshotów i danych przeszukiwalnych.
Podejście
Zaczęliśmy od przypisania każdemu wzorcowi indeksów jego rzeczywistego regulacyjnego obowiązku retencji, ponieważ kilka wzorców przechowywano znacznie dłużej, niż było to wymagane. Na tej podstawie zaprojektowaliśmy polityki ILM oparte na rolloverze, z jawnie zdefiniowanymi fazami hot, warm i cold, dodaliśmy politykę cyklu życia snapshotów zapisywanych w storage obiektowym i przećwiczyliśmy procedury odtwarzania, aż ich czasy były znane, a nie zakładane.
Rozwiązanie
- Wymogi retencji przypisane do każdego wzorca indeksów i porównane z tym, co faktycznie robiły skrypty czyszczące
- Polityki ILM oparte na aliasach rollover z warunkami rozmiaru i wieku, w pełni zastępujące ręcznie pisane skrypty usuwające
- Definicje faz hot, warm i cold, w tym force merge, redukcja liczby replik i filtrowanie alokacji shardów według atrybutu węzła
- Zarządzanie cyklem życia snapshotów w storage obiektowym z zasadami retencji zgodnymi z obowiązkiem regulacyjnym
- Przeprowadzone i zmierzone ćwiczenia odtwarzania, dzięki którym cel odtworzenia jest zmierzoną wartością, a nie szacunkiem
- Definicje polityk zapisane jako kod infrastruktury, aby zmiany przechodziły przez przegląd
Efekt
Większość zaindeksowanych danych znajduje się teraz w warstwach warm i cold, co zwolniło znaczną część pojemności węzłów hot dla obciążeń zapytaniowych. Retencję egzekwują polityki, a nie skrypty, a zespół ds. zgodności może odpowiadać na pytania o retencję bezpośrednio na podstawie definicji polityk.