PostgreSQL

Jak przeprowadzić migrację ponad 100 baz danych Oracle do PostgreSQL?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

ORACLEPOSTGRESGREENYELLOWREDOracle to PostgreSQL Migration
Na tej stronie

Migracja jednej bazy Oracle do PostgreSQL to projekt. Migracja ponad stu to program — a traktowanie go jak jednego monolitycznego projektu migracyjnego to najczęstsza przyczyna, dla której takie przedsięwzięcia utykają lub przekraczają budżet. Właściwe podejście zaczyna się od klasyfikacji, a nie od konwersji.

W tym artykule pokazujemy, jak określono zakres rzeczywistej migracji w przedsiębiorstwie — 110 baz danych Oracle w globalnej organizacji produkcyjnej — w tym model narzędzi, system triażu złożoności oraz konkretne pytania techniczne i handlowe, na które trzeba było odpowiedzieć, zanim przeniesiono pierwszą bazę danych.

Od czego w ogóle zacząć migrację na taką skalę?

Od klasyfikacji, a nie od konwersji. Zanim zmieni się choćby jedną bazę danych, należy podzielić środowisko na poziomy złożoności według tego, w jakim stopniu każda baza faktycznie korzysta z funkcji specyficznych dla Oracle.

Schemat klasyfikacji zastosowany w rzeczywistej migracji 110 baz danych dzielił bazy według systemu zielony/żółty/czerwony:

  • Zielony: bazy danych z minimalnymi zależnościami od funkcji specyficznych dla Oracle — proste typy danych, brak lub niewiele procedur składowanych — które zautomatyzowane narzędzia konwersji mogą obsłużyć przy minimalnej interwencji ręcznej. Ten poziom przechodzi szybko i często można go wycenić według stałej stawki za bazę danych.
  • Żółty: bazy danych, w których narzędzia obsługują większość konwersji — często mówi się o około 95% — ale konkretne elementy, takie jak procedury składowane, które nie przekładają się wprost na PL/pgSQL w PostgreSQL, wymagają ręcznej konwersji.
  • Czerwony: bazy danych intensywnie korzystające z funkcji specyficznych dla Oracle — z dużą liczbą procedur składowanych, typami danych specyficznymi dla Oracle lub zastrzeżonymi funkcjami — które wymagają znacznych ręcznych poprawek i udziału ekspertów, a nie tylko narzędzi.

Jak ujął to wprost jeden z konsultantów ds. migracji podczas określania zakresu: „Dla zielonych to ma sens — stały koszt jak najbardziej ma sens. W przypadku żółtych i czerwonych oczekiwanie byłoby takie, że zapewnimy zasoby, prawdopodobnie per projekt, aby pomóc w poprawkach — bo to jest bardziej złożone, niż narzędzia są w stanie obsłużyć”.

Praktyczny pierwszy krok: przed ustaleniem harmonogramu lub budżetu dla całego programu przeprowadzić inwentaryzację i zautomatyzowaną klasyfikację całego środowiska baz danych. Nie da się rzetelnie oszacować kosztu ani czasu trwania migracji 110 baz danych, nie wiedząc, ile z nich trafia do każdego poziomu.

Co właściwie muszą robić narzędzia migracyjne?

Kompletny zestaw narzędzi do migracji z Oracle do PostgreSQL musi obejmować pełny cykl życia, a nie tylko konwersję schematu. W rzeczywistej rozmowie o zakresie wymaganie opisano wprost: „Oczekujemy, że dostawca przyjdzie ze wszystkimi narzędziami, jakie ma w zanadrzu — ewaluatorem, planerem, migratorem, konwersją, transformatorami, weryfikacją, jakkolwiek je nazwać”.

Etapy, które mają znaczenie:

  1. Ewaluator — łączy się ze źródłową bazą Oracle i analizuje, z czego faktycznie korzysta: typy danych, procedury składowane, wyzwalacze, składnia SQL specyficzna dla Oracle
  2. Planer — przekształca wyniki oceny w strategię migracji dopasowaną do profilu złożoności danej bazy
  3. Migrator/transformator — wykonuje właściwą konwersję schematu i danych, w tym transformację kodu procedur składowanych tam, gdzie da się ją zautomatyzować
  4. Weryfikacja — potwierdza, że zmigrowana baza danych faktycznie działa: łączność aplikacji, testy jednostkowe, integracyjne i regresyjne, które przed przełączeniem wychwytują błędy o wysokim priorytecie

Szczególnie etapu weryfikacji nie należy pomijać ani traktować jako opcjonalnego. Rzeczywisty plan migracji wprost obejmował aktualizację connection stringów aplikacji, potwierdzenie, że aplikacja poprawnie uruchamia się z nową instancją PostgreSQL, a następnie wykonanie pełnego zestawu testów aplikacji — jednostkowych, integracyjnych i regresyjnych — właśnie po to, by wychwycić wszelkie istotne błędy wprowadzone przez konwersję, zanim zostanie ona uznana za zakończoną.

Czy przed zobowiązaniem się do pełnej migracji warto przeprowadzić proof of concept?

Tak — i przy migracjach tej skali to standardowa praktyka, a nie opcjonalny dodatkowy krok. Proof of concept ma konkretny cel wykraczający poza walidację techniczną: buduje pewność w zespołach wewnętrznych, które w przyszłości będą utrzymywać PostgreSQL.

W omawianym rzeczywistym przypadku organizacja jasno określiła, dlaczego PoC jest ważny: jej zespoły DBA, middleware i aplikacyjne nigdy nie korzystały z PostgreSQL w środowisku produkcyjnym. PoC nie sprawdzał tylko, czy narzędzia migracyjne działają — sprawdzał, czy zespoły organizacji są w stanie nabrać pewności potrzebnej do utrzymywania PostgreSQL na dużą skalę. Jak powiedziano wprost: „Po tym PoC naprawdę chcemy podjąć decyzję go/no-go, jeśli ich poziom pewności będzie naprawdę niski... jeśli będą czuli się pewnie, chcę kontynuować moją pierwotną strategię”.

Co powinien zweryfikować PoC:

  • Czy szacunek złożoności w rozmiarach koszulek (zielony/żółty/czerwony) faktycznie sprawdza się na 5–10 rzeczywistych bazach danych, czy rzeczywista złożoność jest wyższa, niż zakładano?
  • Czy zespół wewnętrzny jest w stanie utrzymywać powstałe bazy PostgreSQL bez silnej, stałej zależności od dostawcy, jeśli taki jest cel?
  • Czy konwersja procedur składowanych w zestawie narzędzi radzi sobie z rzeczywistymi wzorcami stosowanymi w organizacji, a nie tylko z ogólnymi przypadkami testowymi?

PostgreSQL na maszynach wirtualnych czy na Kubernetes?

Warto podjąć tę decyzję świadomie, zamiast domyślnie wybierać to, na czym obecnie działają bazy Oracle. W rzeczywistym przypadku migracji organizacja chciała odejść od PostgreSQL na maszynach wirtualnych na rzecz samoobsługowego wdrożenia na Kubernetes — ponieważ zauważono, że wdrożenia oparte na VM nie zapewniały pełnej automatyzacji tworzenia nowych baz danych, podczas gdy model z operatorem Kubernetes pozwalałby programistom zamówić bazę danych i automatycznie otrzymać ją na istniejącym klastrze.

Powody, by rozważyć Kubernetes właśnie dla PostgreSQL:

  • Klastry Kubernetes już działają w innych częściach Państwa infrastruktury i zależy Państwu na spójnych narzędziach operacyjnych
  • Celem jest samoobsługowe tworzenie baz danych — programiści zamawiają bazę bez ręcznego kroku po stronie DBA
  • Migracja z Oracle wynika częściowo z narzutu operacyjnego, a nowa platforma ma ten narzut strukturalnie zmniejszyć, a nie tylko zastąpić jeden ręczny proces na VM innym

Powody, by pozostać przy maszynach wirtualnych:

  • Wiedza operacyjna zespołu koncentruje się na VM, a model z operatorem Kubernetes wprowadza nowe wymagania kompetencyjne w trakcie migracji
  • Obciążenia PostgreSQL mają szczególne wymagania dotyczące pamięci masowej lub wydajności, które lepiej obsłuży dedykowana infrastruktura VM

Niezależnie od wyboru warto w miarę możliwości korzystać ze standardowego, publicznie dostępnego operatora PostgreSQL dla Kubernetes zamiast zastrzeżonego — pozwala to uniknąć przenoszenia dodatkowych kosztów licencji na organizację i zachować przenośność między środowiskami chmurowymi i lokalnymi.

Czy trzeba nadal płacić za zastrzeżone narzędzie migracyjne, czy zespół może samodzielnie prowadzić konwersję?

To zależy wyłącznie od celów organizacji i powinno zostać rozstrzygnięte wprost, a nie pozostawione w zawieszeniu. W omawianym rzeczywistym przypadku organizacja jasno deklarowała, że chce uniknąć uzależnienia od dostawcy w zakresie procesu, nawet oceniając jego narzędzia: „Nie chcemy, żeby zewnętrzna firma prowadziła całą historię... żeby nie zawyżać budżetu migracji”.

Istnieją dwa rozsądne modele:

  • Licencja na narzędzia z realizacją wewnętrzną. Dostawca udostępnia narzędzia (ewaluator, migrator, zestaw narzędzi do konwersji) za stałą lub progową opłatą, a zespół wewnętrzny wykonuje właściwą konwersję przy ich użyciu. Pozwala to zachować wewnętrzną kontrolę nad harmonogramem migracji i ogranicza stałą zależność od dostawcy.
  • Usługi migracyjne realizowane przez dostawcę. Zespół dostawcy bezpośrednio przeprowadza migrację, zwłaszcza w przypadku baz o żółtym i czerwonym poziomie złożoności, gdzie ręczne poprawki wymagają głębokiej wiedzy o konwersji Oracle/PostgreSQL, której zespół wewnętrzny może nie mieć. Zasoby przydziela się wtedy zwykle per projekt, a nie w ramach jednej licencji na narzędzia.

Większość dużych migracji ostatecznie korzysta z obu modeli jednocześnie: zespoły wewnętrzne obsługują bazy z poziomu zielonego przy użyciu licencjonowanych narzędzi, a eksperci dostawcy są angażowani konkretnie do poprawek na poziomach żółtym i czerwonym.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

A co z bieżącym łataniem PostgreSQL i wsparciem wersji po zakończeniu migracji?

Należy to zaplanować w ramach tej samej współpracy, a nie traktować jako odrębnego problemu na przyszłość. W rzeczywistej rozmowie o zakresie migracji pojawiły się wprost pytania o wsparcie po migracji: czy dostawca może zobowiązać się do poprawek technicznych i bezpieczeństwa dla konkretnych wersji PostgreSQL, jeśli organizacja będzie musiała pozostać na danym wydaniu, oraz czy obejmuje to wsparcie aktualizacji wersji głównych — nie tylko samego silnika bazy danych, ale także wpływu tych aktualizacji na aplikacje downstream.

Kluczowe rozróżnienie, wskazane wprost podczas tamtej rozmowy: zobowiązania dotyczące łatania samego PostgreSQL to jedno, ale „sposób, w jaki to rozchodzi się po całym przedsiębiorstwie, to zwykle osobna usługa” — co oznacza, że dostawca może zobowiązać się do terminowego dostarczania poprawek bezpieczeństwa PostgreSQL, ale ocena wpływu tych poprawek na Państwa konkretne aplikacje i usuwanie skutków to zwykle odrębna współpraca o określonym zakresie, a nie element automatycznie wliczony w podstawowe wsparcie w zakresie poprawek.

Jaki powinien być mój następny krok?

  1. Zinwentaryzować całe środowisko baz danych i przeprowadzić (lub zlecić) zautomatyzowaną klasyfikację złożoności
  2. Wybrać platformę docelową — VM lub Kubernetes — na podstawie celów operacyjnych, a nie tylko wygody migracji
  3. Określić zakres proof of concept obejmującego reprezentatywną próbkę z poziomów zielonego, żółtego i czerwonego
  4. Wybrać model narzędzi/usług — licencjonowane narzędzia z realizacją wewnętrzną, usługi realizowane przez dostawcę lub model hybrydowy podzielony według poziomów złożoności
  5. Zaplanować łatanie i wsparcie po migracji w ramach tej samej współpracy, w tym sposób obsługi skutków aktualizacji wersji głównych downstream
Faza migracjiOd czego zależy nakład pracy
Schemat i typy danychTypy specyficzne dla Oracle bez bezpośredniego odpowiednika w PostgreSQL
PL/SQLProcedury składowane, pakiety i wyzwalacze — zwykle największa pojedyncza pozycja
SQL w aplikacjachRóżnice dialektów, wskazówki optymalizatora (hinty) i wszystko, co opiera się na zachowaniu specyficznym dla Oracle
PrzełączenieWolumen danych, akceptowalny przestój i to, czy replikacja działa równolegle

Pomoc w określeniu zakresu migracji z Oracle do PostgreSQL

Planują Państwo migrację z Oracle do PostgreSQL na dużą skalę? AceMQ zapewnia wsparcie techniczne PostgreSQL i inżynierię migracji w projektach odejścia od Oracle. Zapraszamy do rozmowy z inżynierem AceMQ o klasyfikacji, narzędziach i zakresie proof of concept dla Państwa środowiska baz danych.

Najczęściej zadawane pytania

Od czego zacząć dużą migrację z Oracle do PostgreSQL?

Od klasyfikacji, a nie od konwersji. Przed ustaleniem harmonogramu lub budżetu należy podzielić bazy danych na zielony, żółty i czerwony poziom złożoności według zależności od funkcji specyficznych dla Oracle — nie da się oszacować kosztu migracji 100+ baz danych, nie wiedząc, ile z nich trafia do każdego poziomu.

Co oznaczają poziomy zielony, żółty i czerwony w migracji z Oracle do PostgreSQL?

Bazy zielone mają minimalne zależności od funkcji specyficznych dla Oracle i można je niemal w całości przekonwertować narzędziami przy stałym koszcie. Bazy żółte w około 95% obsługują narzędzia, ale wymagają pracy ręcznej przy elementach takich jak procedury składowane. Bazy czerwone intensywnie korzystają z funkcji specyficznych dla Oracle i wymagają znacznych ręcznych poprawek oraz udziału ekspertów.

Co powinny faktycznie obejmować narzędzia do migracji z Oracle do PostgreSQL?

Pełny cykl życia: ewaluator analizujący, z czego faktycznie korzysta baza źródłowa, planer przekształcający tę analizę w strategię migracji, migrator/transformator wykonujący konwersję oraz etap weryfikacji obejmujący testy łączności, jednostkowe, integracyjne i regresyjne przed przełączeniem.

Czy przed pełną migracją z Oracle do PostgreSQL warto przeprowadzić proof of concept?

Tak. PoC weryfikuje zarówno narzędzia, jak i to, czy zespoły DBA, middleware i aplikacyjne są w stanie nabrać pewności potrzebnej do utrzymywania PostgreSQL na produkcji — co jest szczególnie ważne, jeśli nigdy wcześniej nie utrzymywały PostgreSQL w środowisku produkcyjnym.

Czy po migracji z Oracle PostgreSQL powinien działać na maszynach wirtualnych, czy na Kubernetes?

To zależy od celów operacyjnych. Kubernetes sprawdza się w zespołach, które chcą samoobsługowego, zautomatyzowanego tworzenia baz danych i już korzystają z Kubernetes w innych miejscach. Maszyny wirtualne pasują do zespołów z wiedzą operacyjną skoncentrowaną na VM lub do obciążeń o szczególnych wymaganiach dotyczących pamięci masowej. Wybierając Kubernetes, warto użyć standardowego, niezastrzeżonego operatora.

Czy całą migrację z Oracle do PostgreSQL musi prowadzić dostawca?

Nie — powszechne są dwa modele: licencjonowane narzędzia z realizacją wewnętrzną, w której Państwa zespół prowadzi konwersję przy użyciu narzędzi dostawcy, albo usługi realizowane przez dostawcę w przypadku złożonych baz danych. Większość dużych migracji łączy oba modele: zespoły wewnętrzne obsługują bazy z poziomu zielonego, a eksperci dostawcy zajmują się poprawkami na poziomach żółtym i czerwonym.

Kto odpowiada za łatanie i aktualizacje wersji PostgreSQL po zakończeniu migracji?

Należy to zaplanować w ramach tej samej współpracy. Dostawca może zobowiązać się do terminowego dostarczania poprawek bezpieczeństwa PostgreSQL, ale ocena i usuwanie skutków, jakie te poprawki i aktualizacje wersji głównych wywołują w Państwa konkretnych aplikacjach, to zwykle odrębna usługa o określonym zakresie, która nie jest automatycznie wliczona.

O powodzeniu lub utknięciu migracji ponad 100 baz danych z Oracle do PostgreSQL decydują ustalenia zakresu podjęte, zanim przeniesie się pierwszą bazę: klasyfikacja, model narzędzi, zakres PoC, wybór platformy i wsparcie po migracji. Jeśli zostaną podjęte trafnie, sama konwersja jest najłatwiejszą częścią.

Bezpłatna konsultacja

Ekspercka ocena: Środowisko PostgreSQL

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas