Powrót do wszystkich studiów przypadków

DoradztwoOchrona zdrowia / świadczenia

Retencja, która zadowala audytorów, bez płacenia stawek warstwy hot za zimne dane

Dostawca analityki dla sektora ochrony zdrowia

Projekt doradczy obejmujący zarządzanie cyklem życia indeksów, podział danych na warstwy i politykę snapshotów dla regulowanego środowiska Elasticsearch.

Przegląd

Dostawca analityki dla sektora ochrony zdrowia musiał ze względów audytowych przechowywać dane przez wiele lat, ale trzymał wszystko na drogich węzłach hot. AceMQ zaprojektował strategię ILM i podziału na warstwy, która spełnia wymóg retencji, a jednocześnie przenosi większość danych na tańszy storage.

Wyzwanie

Zasady retencji egzekwowały ręcznie pisane skrypty czyszczące, które od czasu do czasu usuwały niewłaściwy wzorzec indeksów. Nie było warstwy warm ani cold, snapshoty wykonywano niekonsekwentnie, a nikt nigdy nie przetestował odtwarzania. Zespół ds. zgodności nie potrafił odpowiedzieć, jak długo faktycznie przechowywana jest dana klasa rekordów, bo odpowiedź zależała od tego, który skrypt jako ostatni zakończył się powodzeniem.

Środowisko

Hybrydowe wdrożenie Elasticsearch z węzłami hot on-premise i chmurowym storage obiektowym dostępnym dla snapshotów i danych przeszukiwalnych.

Podejście

Zaczęliśmy od przypisania każdemu wzorcowi indeksów jego rzeczywistego regulacyjnego obowiązku retencji, ponieważ kilka wzorców przechowywano znacznie dłużej, niż było to wymagane. Na tej podstawie zaprojektowaliśmy polityki ILM oparte na rolloverze, z jawnie zdefiniowanymi fazami hot, warm i cold, dodaliśmy politykę cyklu życia snapshotów zapisywanych w storage obiektowym i przećwiczyliśmy procedury odtwarzania, aż ich czasy były znane, a nie zakładane.

Rozwiązanie

  1. Wymogi retencji przypisane do każdego wzorca indeksów i porównane z tym, co faktycznie robiły skrypty czyszczące
  2. Polityki ILM oparte na aliasach rollover z warunkami rozmiaru i wieku, w pełni zastępujące ręcznie pisane skrypty usuwające
  3. Definicje faz hot, warm i cold, w tym force merge, redukcja liczby replik i filtrowanie alokacji shardów według atrybutu węzła
  4. Zarządzanie cyklem życia snapshotów w storage obiektowym z zasadami retencji zgodnymi z obowiązkiem regulacyjnym
  5. Przeprowadzone i zmierzone ćwiczenia odtwarzania, dzięki którym cel odtworzenia jest zmierzoną wartością, a nie szacunkiem
  6. Definicje polityk zapisane jako kod infrastruktury, aby zmiany przechodziły przez przegląd

Efekt

Większość zaindeksowanych danych znajduje się teraz w warstwach warm i cold, co zwolniło znaczną część pojemności węzłów hot dla obciążeń zapytaniowych. Retencję egzekwują polityki, a nie skrypty, a zespół ds. zgodności może odpowiadać na pytania o retencję bezpośrednio na podstawie definicji polityk.

Technologie

ElasticsearchKibanaAmazon S3Terraform

Potrzebują Państwo doradztwa w zakresie architektury Elasticsearch?

Starsi inżynierowie Elasticsearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.