Elasticsearch

Co się psuje przy aktualizacji Elasticsearch o kilka wersji głównych?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

6.xSTALLED7.x8.xTARGETIntermediate Hop RequiredMulti-Version Upgrade Planning
Na tej stronie

Aktualizacje Elasticsearch mają opinię bardziej ryzykownych i wymagających operacyjnie, niż wydają się na początku — i rzeczywiste doświadczenia to potwierdzają. W jednym udokumentowanym przypadku aktualizacja Elasticsearch utknęła na 18 miesięcy, długo po pierwotnym terminie, z powodu wymagań dotyczących wydań pośrednich i bieżącego narzutu operacyjnego, których na początku w pełni nie uwzględniono.

W tym artykule opisujemy, co faktycznie powoduje utykanie aktualizacji Elasticsearch i jak zaplanować taką, która nie utknie.

Dlaczego aktualizacje Elasticsearch tak często utykają w porównaniu z innymi aktualizacjami infrastruktury?

Dwa czynniki strukturalne, które oba wystąpiły wprost w rzeczywistym przypadku wstrzymanej aktualizacji:

  • Wymagania dotyczące wersji pośrednich. Podobnie jak wiele dojrzałych systemów rozproszonych, Elasticsearch nie zawsze pozwala przejść bezpośrednio ze starej wersji głównej do bieżącej — często wymagane są pośrednie kroki aktualizacji, a każdy z nich wymaga własnej walidacji, testów i (często) okna serwisowego. W rzeczywistym przypadku wymagania dotyczące pośrednich wydań Elasticsearch stały się tematem dyskusji w połowie aktualizacji — co oznacza, że zespół w trakcie prac odkrył, że ścieżka nie składa się z jednego przeskoku. To częsta luka w planowaniu, której można uniknąć, rozpisując pełną ścieżkę wersji przed rozpoczęciem prac.
  • Dostępność zasobów i priorytety. Aktualizacje, które nie są ściśle obowiązkowe (bez zbliżającego się EOL wymuszającego harmonogram), jako pierwsze tracą priorytet, gdy o ten sam czas inżynierów konkurują inne zadania. W przypadku wstrzymanej aktualizacji jako bezpośrednią przyczynę opóźnienia wskazano długotrwałe zwolnienie lekarskie członka zespołu — co pokazuje, jak niewielki bywa margines zasobów w projektach aktualizacji infrastruktury, które nie mają twardego zewnętrznego terminu.

Co sprawdzić przed rozpoczęciem aktualizacji Elasticsearch o kilka wersji?

  • Najpierw rozpisać pełną ścieżkę wersji, a nie tylko wersję początkową i docelową. Potwierdzić, czy docelowa aktualizacja wymaga przystanków pośrednich, i traktować każdą wersję pośrednią jako osobny punkt kontrolny walidacji, zamiast zakładać, że cały przeskok można zaplanować i przeprowadzić jako jeden ciągły projekt.
  • Potwierdzić zgodność klientów i aplikacji z każdą wersją pośrednią, a nie tylko z ostateczną wersją docelową. Aplikacja zbudowana na starszej bibliotece klienckiej Elasticsearch może działać inaczej — lub po prostu przestać działać — z API wersji pośredniej, nawet jeśli ostatecznie jest zgodna z wersją docelową.
  • Uwzględnić czas i koszt zasobów reindeksacji. Aktualizacje wersji głównych Elasticsearch często wymagają reindeksacji danych do nowych formatów indeksów. W przypadku dużych indeksów nie jest to szybka operacja — zużywa znaczną ilość CPU, pamięci i I/O dysku i wymaga zaplanowania oraz zapewnienia zasobów jak odrębna faza projektu, a nie traktowania jako kroku pobocznego.
  • Wyznaczyć dedykowanego właściciela z chronionym czasem pracy, a nie przydzielać zadania na część etatu, w konkurencji z innymi priorytetami. Przypadek aktualizacji wstrzymanej na 18 miesięcy bezpośrednio ilustruje, co się dzieje, gdy odpowiedzialność za aktualizację nie jest chroniona — projekt nie kończy się spektakularną porażką, po prostu po cichu przestaje posuwać się naprzód.

Jaki narzut operacyjny poza samą aktualizacją faktycznie wprowadza zmiana wersji głównej?

Aktualizacje Elasticsearch zwykle ujawniają ukryte problemy w konfiguracji klastra, zarządzaniu indeksami i monitorowaniu, które w starej wersji niczego nie blokowały, a w nowej stają się widoczne lub zaczynają sprawiać kłopoty. Należy zaplanować czas na:

  • Walidację polityk zarządzania cyklem życia indeksów (ILM) — ustawienia, które działały przy wartościach domyślnych starej wersji, mogą zachowywać się inaczej przy wartościach domyślnych nowej
  • Zgodność wtyczek i integracji — każda integracja Logstash, Kibana lub narzędzia zewnętrznego powiązana z konkretną wersją Elasticsearch wymaga osobnego sprawdzenia zgodności
  • Zmiany w monitorowaniu kondycji klastra — nowe wersje czasem zmieniają to, jak wygląda stan „zdrowy” na poziomie API, co może wywoływać fałszywe alarmy w istniejących regułach alertów opartych na semantyce statusów starej wersji

Aktualizować w miejscu czy uruchomić nowy klaster i przeprowadzić migrację?

Oba podejścia są uzasadnione, a właściwy wybór zależy od tego, ile ryzyka operacyjnego jest w stanie znieść obecny klaster i jakim budżetem infrastrukturalnym na równoległe wdrożenie Państwo dysponują.

  • Aktualizacja krocząca w miejscu jest zazwyczaj szybsza w przypadku mniejszych klastrów i nie wymaga zdublowanej infrastruktury, ale oznacza, że klaster produkcyjny znajduje się bezpośrednio na ścieżce aktualizacji, z mniejszym polem do czystego wycofania, jeśli coś pójdzie nie tak w trakcie.
  • Równoległy klaster z reindeksacją i przełączeniem daje czysty punkt wycofania (stary klaster działa, dopóki nie nabiorą Państwo pewności co do nowego) kosztem tymczasowego utrzymywania zdublowanej infrastruktury i konieczności zastosowania strategii synchronizacji danych lub reindeksacji, aby nowy klaster był aktualny aż do przełączenia.

Przy przeskoku o kilka wersji głównych — gdy zgodność wersji pośrednich jest już znanym ryzykiem, jak we wspomnianym przypadku wstrzymanej aktualizacji — podejście z równoległym klastrem jest często bezpieczniejsze, ponieważ całkowicie oddziela ryzyko aktualizacji od produkcyjnego ruchu aż do momentu gotowości do przełączenia.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Jak uniknąć sytuacji, w której aktualizacja Elasticsearch utknie na 18 miesięcy?

  • Z góry określić całą ścieżkę wersji, łącznie z każdym przystankiem pośrednim, przed ustaleniem harmonogramu. Nie odkrywać wymagań pośrednich w połowie projektu.
  • Wyznaczyć dedykowanego właściciela z chronionym czasem, zamiast traktować aktualizację jako pracę w tle dla kogoś, kto ma pełne ręce innych obowiązków. Jeśli właściciel stanie się niedostępny (choroba, zmiana przydziału, odejście), mieć jasny plan kontynuacji projektu, zamiast pozwolić mu po cichu utknąć.
  • Ustalić twardy termin powiązany z rzeczywistym czynnikiem wymuszającym, jeśli to możliwe — zbliżającą się datą EOL, wymogiem bezpieczeństwa lub zależnością od innego projektu — ponieważ aktualizacje bez zewnętrznego terminu najczęściej tracą priorytet na czas nieokreślony.
  • Wprost zaplanować czas na reindeksację i walidację, a nie tylko na mechaniczne kroki aktualizacji, ponieważ to zwykle tam kryje się rzeczywisty koszt czasowy przeskoku między wersjami głównymi.

Co zrobić, jeśli aktualizacja Elasticsearch już utknęła?

Zacząć od ponownego określenia zakresu, zamiast wracać do miejsca, w którym prace się zatrzymały. Potwierdzić, że obraz wersji nie zmienił się od czasu wstrzymania projektu (nowe wymagania pośrednie, nowe daty EOL, zmieniona zgodność integracji), ponownie wyznaczyć jasnego właściciela i przed wznowieniem prac ustalić konkretny harmonogram z zapewnionymi zasobami. Wstrzymana aktualizacja, którą wznawia się bez ponownego określenia zakresu, łatwo utyka ponownie z tych samych powodów.

Więcej o planowaniu aktualizacji wersji głównej infrastruktury bez przestoju w artykule Aktualizacja RabbitMQ 3.x do 4.x bez przestoju — kompromisy między aktualizacją kroczącą a równoległym klastrem przenoszą się wprost.

Pomoc przy wstrzymanej lub planowanej aktualizacji Elasticsearch

Pracują Państwo nad wstrzymaną lub planowaną aktualizacją wersji głównej Elasticsearch? AceMQ przeprowadza oceny ścieżki wersji, które rozpisują każdy pośredni przeskok, weryfikują zgodność klientów i wtyczek oraz szacują czas reindeksacji, zanim ustalą Państwo harmonogram. Zapraszamy do skorzystania ze wsparcia technicznego Elasticsearch lub do rozmowy z inżynierem AceMQ o ścieżce aktualizacji.

Najczęściej zadawane pytania

Dlaczego aktualizacje Elasticsearch utykają częściej niż inne aktualizacje infrastruktury?

Decydują o tym dwa czynniki strukturalne: wymagania dotyczące wersji pośrednich, które wymuszają wieloetapowe ścieżki aktualizacji, z których każdy krok wymaga własnej walidacji i okna serwisowego, oraz skromne zasoby, ponieważ aktualizacje bez twardego terminu EOL jako pierwsze tracą priorytet, gdy o czas inżynierów konkurują inne projekty. Rzeczywisty przypadek pokazał oba czynniki — nieodkryty wymóg wersji pośredniej i zwolnienie lekarskie członka zespołu łącznie wstrzymały projekt na 18 miesięcy.

Co sprawdzić przed rozpoczęciem aktualizacji Elasticsearch o kilka wersji?

Najpierw rozpisać pełną ścieżkę wersji, łącznie z każdym przystankiem pośrednim, a nie tylko wersję początkową i docelową. Potwierdzić zgodność klientów i aplikacji z każdą wersją pośrednią, wprost uwzględnić czas i koszt zasobów reindeksacji oraz wyznaczyć dedykowanego właściciela z chronionym czasem pracy, zamiast traktować zadanie jako pracę w tle.

Jaki narzut operacyjny poza samą aktualizacją wprowadza zmiana wersji głównej Elasticsearch?

Należy zaplanować czas na walidację polityk zarządzania cyklem życia indeksów (ILM), ponieważ wartości domyślne starej wersji mogą działać inaczej w nowej; sprawdzenie zgodności wtyczek i integracji z Logstash, Kibana i narzędziami zewnętrznymi powiązanymi z konkretną wersją; oraz zmiany w monitorowaniu kondycji klastra, ponieważ nowe wersje mogą zmienić znaczenie stanu „zdrowy” na poziomie API i wywoływać fałszywe alarmy w istniejących regułach alertów.

Czy aktualizować Elasticsearch w miejscu, czy uruchomić nowy klaster i przeprowadzić migrację?

Oba podejścia są uzasadnione. Aktualizacje kroczące w miejscu są szybsze w przypadku mniejszych klastrów, ale stawiają produkcję bezpośrednio na ścieżce aktualizacji z mniejszym polem do wycofania. Równoległy klaster z reindeksacją i przełączeniem oznacza tymczasowy koszt zdublowanej infrastruktury, ale daje czysty punkt wycofania. Przy przeskokach o kilka wersji głównych, gdzie zgodność wersji pośrednich jest już znanym ryzykiem, podejście z równoległym klastrem jest zwykle bezpieczniejsze.

Jak uniknąć sytuacji, w której aktualizacja Elasticsearch utknie na 18 miesięcy?

Przed ustaleniem harmonogramu z góry określić całą ścieżkę wersji, łącznie z każdym przystankiem pośrednim. Wyznaczyć dedykowanego właściciela z chronionym czasem i jasnym planem ciągłości na wypadek jego niedostępności. Ustalić twardy termin powiązany z rzeczywistym czynnikiem wymuszającym i wprost zaplanować czas na reindeksację i walidację, zamiast wliczać go w mechaniczne kroki aktualizacji.

Co zrobić, jeśli aktualizacja Elasticsearch już utknęła?

Zacząć od ponownego określenia zakresu, zamiast wracać do miejsca, w którym prace się zatrzymały. Potwierdzić, że obraz wersji nie zmienił się od czasu wstrzymania projektu — nowe wymagania pośrednie, nowe daty EOL, zmieniona zgodność integracji — ponownie wyznaczyć jasnego właściciela i przed wznowieniem prac ustalić konkretny harmonogram z zapewnionymi zasobami.

Wstrzymana aktualizacja Elasticsearch rzadko jest technicznym ślepym zaułkiem — niemal zawsze chodzi o lukę w określeniu zakresu i odpowiedzialności. Przed wznowieniem prac należy rozpisać pełną ścieżkę wersji, chronić czas właściciela i ustalić realny termin.

Bezpłatna konsultacja

Ekspercka ocena: Klaster Elasticsearch

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas