Przegląd
Platforma mediów cyfrowych chciała przejść z licencjonowanej dystrybucji Elasticsearch na OpenSearch, ale środowisko rozrastało się żywiołowo i nikt nie miał jasnego obrazu tego, które funkcje są faktycznie używane. AceMQ oceniło wykonalność, nakład pracy i ryzyko, zanim rozpoczęto jakiekolwiek prace migracyjne.
Wyzwanie
Aplikacje korzystały z różnych oficjalnych klientów Elasticsearch w kilku językach, a nowsze wersje klientów zawierają product check, który odmawia komunikacji z OpenSearch. Kilka zespołów oparło się też na funkcjach, które w obu projektach się rozeszły, w tym na określonych zadaniach uczenia maszynowego i licencjonowanej konfiguracji alertów. Bez inwentaryzacji szacunek nakładu pracy na migrację był czystym zgadywaniem.
Środowisko
Klastry Elasticsearch na AWS obsługujące wyszukiwanie treści i analitykę logów, aplikacje w Javie, Pythonie i Node.js.
Podejście
Ocena obejmuje inwentaryzację wszystkich używanych bibliotek klienckich, pluginów, funkcji mapowań indeksów i konstrukcji zapytań, a następnie klasyfikuje każdą pozycję jako zgodną, wymagającą wymiany klienta lub wymagającą przeprojektowania. Niejednoznaczne przypadki testujemy na prawdziwym klastrze OpenSearch, zamiast polegać na macierzach zgodności, i przygotowujemy etapowy plan migracji z nakładem pracy przypisanym do każdego etapu.
Rozwiązanie
- Inwentaryzacja bibliotek klienckich we wszystkich językach aplikacji, z oznaczeniem wersji, które nie przejdą product check
- Inwentaryzacja używanych pluginów i funkcji obejmująca alerty, wykrywanie anomalii i wszelkie aktywnie używane funkcje z płatnych poziomów licencji
- Testy konstrukcji zapytań i mapowań na działającym klastrze OpenSearch w celu potwierdzenia, a nie zakładania, ich zachowania
- Udokumentowanie ścieżki zgodności indeksów i snapshotów, w tym tego, które snapshoty można odtworzyć bezpośrednio, a które wymagają reindeksacji
- Etapowy plan migracji ze strategią dual-write lub reindeksacji dla każdego obciążenia i kryteriami wycofania na każdym etapie
- Porównanie kosztów i licencji oparte na rzeczywistej liczbie węzłów i wolumenach danych klienta
Efekt
Klient przystąpił do migracji z konkretną listą wymaganych aktualizacji klientów i dwóch przeprojektowań funkcji, zamiast odkrywać je w trakcie przełączenia. Dwa obciążenia uznane za słabych kandydatów do migracji celowo pozostawiono na miejscu, co usunęło najbardziej ryzykowną część pierwotnego planu.