BlogBoomi

Co naprawdę wykrywa ocena integracji Boomi

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 12 min czytania

Co naprawdę wykrywa ocena integracji Boomi
On this page

Profesjonalna ocena integracji Boomi ujawnia problemy, których kompetentny zespół wewnętrzny nie zobaczy z poziomu własnych narzędzi: połączenia wskazujące na pojedynczy węzeł zamiast na endpoint z rozkładaniem obciążenia, ustawienia protokołu po cichu nadpisane i odbiegające od wartości domyślnych, zablokowane kolejki udające awarie brokera oraz brak wspólnej obserwowalności w całym stosie integracyjnym. Żaden z tych problemów nie objawia się oczywistym błędem. Objawiają się jako sporadyczne zawieszenie, którego nikt nie potrafi odtworzyć na żądanie.

Boomi to korporacyjna platforma integracyjna w modelu usługowym (iPaaS): środowisko uruchomieniowe AtomSphere od Dell Boomi obsługuje konektory, zarządzanie API i mapowanie danych stojące za przepływami integracyjnymi organizacji, działając na instancjach Atom lub molecule zarządzanych przez platformę AtomSphere. W przypadku procesów integracyjnych czasu rzeczywistego (w odróżnieniu od wsadowych) to środowisko zwykle działa na warstwie komunikatów – w tym projekcie był to RabbitMQ – i to właśnie tam leży kilka z opisanych niżej problemów.

Poniższe wnioski pochodzą z rzeczywistej, wielosesyjnej oceny Boomi przeprowadzonej przez AceMQ dla integratora systemów z sektora federalnego, który w ramach transformacji cyfrowej przenosił się ze starszych zadań harmonogramowanych na procesy integracyjne czasu rzeczywistego. Szczegóły opisano ogólnie; klient ani poszczególne osoby nie są wymienieni z nazwy.

Dlaczego przejście Boomi z przetwarzania wsadowego na czas rzeczywisty stawia RabbitMQ na ścieżce krytycznej?

Projekt rozpoczął się w trakcie trwającej migracji: klient odchodził od starszego środowiska harmonogramowanych zadań wsadowych w .NET i dążył do procesów integracyjnych Boomi czasu rzeczywistego, a elementem, który umożliwiał pracę w czasie rzeczywistym, był RabbitMQ. Ta zmiana zmienia znaczenie słowa „działa”. Zadanie wsadowe, które startowało o 3:00 w nocy i kończyło się gdzieś przed 8:00, mogło trwać piętnaście minut albo dwie godziny i nikogo to nie obchodziło. Bramka czasu rzeczywistego, z której listener Boomi pobiera dane z kolejki, musi obsłużyć skok 1000 rekordów bez timeoutu – nie ma nocnego okna, które wchłonęłoby zaległości.

Architektura odzwierciedlała te ambicje: trzywęzłowy molecule na środowisku testowym i produkcyjnym, jednowęzłowy Atom na deweloperskim i około 35 listenerów RabbitMQ rozsianych po środowisku, które równolegle obsługiwały publish/subscribe, asynchroniczne wysyłanie dokumentów i długotrwałe przetwarzanie wsadowe. To duża powierzchnia, na której może się ukryć problem na poziomie połączeń lub protokołu – i dokładnie taką powierzchnię ma przejść ocena integracji Boomi.

Dlaczego listenery Boomi świecą na zielono, choć nic nie jest przetwarzane?

To był powracający objaw, od którego zaczął się projekt: każdy listener Boomi w swoim widoku statusu raportował dobrą kondycję, podczas gdy kolejki RabbitMQ za nimi stały w miejscu. Nic nie zgłaszało głośno błędu. Nic nie uruchamiało alertów. Po prostu wszystko się zatrzymywało.

Przyczyną źródłową jest rozbieżność między tym, co faktycznie mierzy „status listenera”, a tym, co zespół zakłada, że mierzy. Status listenera w Boomi odzwierciedla stan wdrożenia – czy komponent listenera wystartował i nadal działa – a nie bieżące połączenie z brokerem. Jeśli węzeł RabbitMQ, z którym listener się komunikował, przestał działać, został zrestartowany albo załatany i ponownie uruchomiony, a w efekcie kanał pod listenerem przestał istnieć, listener może świecić na zielono w nieskończoność. RabbitMQ jest odporny na awarie i w wielu topologiach w końcu odtworzy połączenie, ale „w końcu” to nie jest SLA czasu rzeczywistego, a dashboard listenerów, który nigdy nie robi się czerwony, nie daje zespołowi żadnego powodu, by się przyjrzeć.

Dlaczego połączenie Boomi z RabbitMQ wymaga VIP-a na F5 zamiast bezpośredniego IP węzła?

Rozwiązanie problemu zastoju listenerów sprowadzało się do sposobu skonfigurowania połączenia Boomi z RabbitMQ. W ramach oceny przeszliśmy standardową sekwencję diagnostyczną – czy połączenie przechodzi przez load balancer, czy przed pulą stoi VIP, czy ta pula faktycznie rozkłada ruch na wszystkie węzły klastra, zamiast być przypięta do jednego – i okazało się, że połączenie klienta z RabbitMQ szło przez F5, ale nie było skonfigurowane tak, jak powinno: nie była to właściwa pula z rozkładaniem obciążenia, nie było ochrony przed przyklejaniem ruchu do jednego węzła, a health checki oparte na CPU były niewłaściwym sygnałem dostępności brokera.

Poprawiona konfiguracja kieruje to połączenie na wpis DNS VIP-a na F5, który obsługuje wszystkie węzły klastra, skonfigurowanego jako prawdziwa pula z rozkładaniem obciążenia, bez sticky bit. Ta jedna zmiana daje trzy efekty naraz: RabbitMQ może kierować ruch i rozkładać obciążenie na te węzły, które są faktycznie sprawne; wyłączenie węzła na czas instalowania poprawek przestaje być awarią integracji; a do tego otwiera drogę do operacji takich jak aktualizacja RabbitMQ w modelu blue/green – przełączania pul połączeń za F5 bez dotykania choćby jednego komponentu Boomi.

Ile naprawdę kosztuje integrację Boomi obniżone ustawienie frame_max?

W rozszerzeniu środowiska Boomi dla połączenia z RabbitMQ ukryte było jawne nadpisanie: frame_max ustawiony na 16 KB. Nikt po stronie klienta nie potrafił powiedzieć dlaczego – odpowiedź brzmiała mniej więcej „tak było od pierwszego dnia”. RabbitMQ domyślnie negocjuje maksymalny rozmiar ramki AMQP 0-9-1 wynoszący 131 072 bajty (128 KiB). Obniżenie go do 16 KB niczego nie zabezpiecza – jedynie mnoży liczbę ramek, na które RabbitMQ musi dzielić każdy komunikat. Ładunek 16 MB, który przy domyślnym rozmiarze wymagałby rzędu 96 ramek, przy ustawieniu 16 KB wymagał około 8000 ramek – czysty narzut protokołu przy każdym dużym komunikacie wysyłanym przez integrację, bez żadnej korzyści.

Rozwiązaniem było całkowite usunięcie nadpisania i pozwolenie komponentowi połączenia na wynegocjowanie wartości domyślnej platformy zamiast wpisywania liczby na sztywno – dzięki temu przyszłe zmiany w konfiguracji RabbitMQ będą propagowane automatycznie, zamiast po cichu walczyć z nieaktualną wartością, której ustawienia nikt nie pamięta.

To typ problemu, który nigdy nie pojawia się jako incydent. Po prostu po cichu obciąża każdy duży komunikat wysyłany przez integrację, bez końca, dopóki ktoś, kto ma powód, by zakwestionować pięcioletnie ustawienie, nie zacznie szukać.

Jak zablokowana kolejka loggera EBS może położyć produkcyjny przebieg Boomi?

Najpoważniejszym problemem było zawieszenie produkcji, którego przyczyną okazała się jedna wewnętrzna kolejka logowania – exchange loggera EBS, przez który procesy Boomi zapisywały ustrukturyzowane rekordy logów JSON do wspólnej tabeli logów. W trakcie incydentu kolejka pokazywała dwa zawieszone komunikaty i 42 odrzucane, a liczba niepotwierdzonych komunikatów na brokerze rosła znacznie powyżej 100 i zamiast się ustabilizować, nadal się zwiększała.

Diagnoza była ważniejsza niż samo rozwiązanie. Rosnąca liczba niepotwierdzonych komunikatów przy komunikatach wciąż czekających w stanie „ready” w innych miejscach topologii nie oznacza problemu z brokerem – RabbitMQ robił dokładnie to, co powinien: przechowywał komunikaty dostarczone konsumentowi, ale nigdy niepotwierdzone, na wypadek gdyby trzeba je było dostarczyć ponownie. Faktyczna awaria leżała wyżej: konsument przyjął pracę i po prostu jej nie dokończył, najpewniej z powodu chwilowego zakłócenia sieci, zablokowanego wywołania SQL lub timeoutu w systemie niższego rzędu, przez który dokument pozostał w locie i nic nie wróciło, by go potwierdzić. Gdy w takim stanie znalazło się wystarczająco wielu konsumentów, sloty wykonawcze się nasyciły, pobrane z wyprzedzeniem komunikaty pozostały niepotwierdzone, a za nimi zakorkowała się cała ścieżka logowania.

Odblokowanie polegało na selektywnym wymuszonym zamknięciu zablokowanych połączeń RabbitMQ za zamrożonymi konsumentami, co zmusza Boomi do ponownego połączenia i zestawienia czystych kanałów, zamiast czekać w nieskończoność na połączenia, które nigdy nie wrócą. Liczba niepotwierdzonych komunikatów zaczęła potem systematycznie spadać – z ponad 120 przez okolice 100, aż do wartości jednocyfrowych, w miarę jak zaległości się opróżniały. Nie wymagało to ani naruszania trwałości komunikatów, ani czyszczenia kolejki; wymagało prawidłowego rozpoznania, że broker był zdrowy, a warstwa aplikacji – nie.

Dlaczego prefetch i single active consumer mają znaczenie dla konkurujących konsumentów Boomi?

Molecule w Boomi uruchamia własną kopię każdego listenera na każdym węźle, a każda z nich ma własne ustawienie współbieżności. W tym środowisku współbieżność równa 2 na kopię listenera w trzywęzłowym molecule dawała mniej więcej 10 konkurujących konsumentów pobierających komunikaty z tej samej kolejki RabbitMQ. Dla obciążeń, w których kolejność komunikatów nie ma znaczenia, to rozsądny wzorzec przepustowości. Dla obciążeń wymagających przetwarzania sekwencyjnego 10 konkurujących konsumentów to ryzyko poprawności, które czeka tylko na niefortunny wzorzec ruchu, by się ujawnić.

Według zaleceń samego RabbitMQ optymalny prefetch dla kolejek wrażliwych na przepustowość mieści się w zakresie od 100 do 300, a prefetch równy 1 wprost wskazano jako znacząco obniżający wydajność, bo serializuje całe przetwarzanie i większość czasu poświęca na wymianę komunikatów w obie strony. Zamiast poświęcać przepustowość na rzecz kolejności przez obniżenie prefetch do 1, zarekomendowaliśmy wdrożenie single active consumer (x-single-active-consumer) na tych kolejkach, które naprawdę wymagały obsługi sekwencyjnej. Ten mechanizm utrzymuje na kolejce dokładnie jednego aktywnego konsumenta naraz i automatycznie przełącza na innego, jeśli ten odpadnie – gwarancja kolejności bez kary za opóźnienia. Klient zgodził się najpierw przetestować to rozwiązanie pilotażowo na niższym środowisku, a dopiero potem wdrożyć na produkcji.

Jaka luka w obserwowalności zostaje bez wspólnych dashboardów Prometheus i Grafana?

Na początku projektu klient praktycznie nie miał wspólnej obserwowalności Boomi i RabbitMQ. Na środowisku deweloperskim agent Javy Prometheus pobierał część metryk Boomi, ale dane te były przyjmowane i natychmiast odrzucane – nic nie było nigdzie utrwalane, więc nie było historii, do której można by wrócić, gdy coś działało nieprawidłowo. Nie było etykietowania w Grafana dedykowanego Boomi ani kolektora OpenTelemetry pobierającego dane bezpośrednio ze środowiska uruchomieniowego Boomi. Środowiska produkcyjne i testowe, czyli te, które naprawdę się liczyły, nie miały niczego.

W kolejnych sesjach inżynierowie AceMQ zbudowali eksporter JMX po stronie Boomi/molecule i dopasowali go do dashboardów Prometheus i Grafana, które już powstawały dla RabbitMQ, umieszczając oba zestawy we wspólnym folderze dashboardów, tak aby metryki Boomi i RabbitMQ można było czytać obok siebie, a nie w dwóch oddzielnych narzędziach. Objęło to eksport metryk dla każdego poda, aby wychwycić pojedynczy węzeł molecule pracujący pod dużym obciążeniem lub zablokowany jako odstający, a także detektory progowe dokładnie tych trybów awarii, które ta ocena wcześniej wykryła ręcznie – zablokowanych wątków, stanów zakleszczenia i podów, które utknęły i nigdy nie wracały.

To zamyka rzeczywistą lukę stojącą za każdym innym opisanym tu problemem. Zastój listenera, zablokowana kolejka loggera i obniżony frame_max wyglądają z zewnątrz identycznie, gdy Boomi i RabbitMQ są monitorowane jako dwa niezwiązane systemy: coś działa wolno albo coś stanęło, a nikt nie potrafi powiedzieć, po której stronie to się zaczęło. To właśnie obserwowalność obu systemów obok siebie zamienia wielogodzinną telekonferencję kryzysową w pięciominutową diagnozę.

Taki wzorzec stoi za większością ocen integracji Boomi: na papierze platforma działa dobrze, a rzeczywiste ryzyko tkwi w warstwie połączeń, ustawieniach protokołu i luce w monitoringu między dwoma systemami, których nikt nie obserwuje razem. Uporządkowanie tego zwraca się w efektywności operacyjnej, a nie tylko w dostępności – mniej zablokowanych potoków danych, przepływy, których nie trzeba niańczyć, i analityka, której naprawdę można zaufać przy kolejnej rundzie strojenia. Dlatego też tych treści nie znajdą Państwo nigdzie indziej – pochodzą z własnych projektów integracji RabbitMQ AceMQ, a nie z dokumentacji producenta. Jeśli Państwa warstwa integracyjna i jej szkielet komunikacyjny nigdy nie zostały ocenione razem, zapraszamy do rozmowy z AceMQ o ocenie integracji Boomi.

FAQ

Co właściwie sprawdza ocena integracji Boomi?

Sprawdza to, czego sprawny zespół integracyjny nie wychwyci od środka: czy połączenia Boomi z systemami niższego rzędu (w tym z warstwą komunikatów) są rozkładane przez load balancer, czy wskazują na pojedynczy węzeł; czy ustawienia na poziomie protokołu są zgodne z wartościami domyślnymi platformy; czy za listenerem nie gromadzą się zablokowane lub niepotwierdzone komunikaty; czy prefetch i współbieżność konsumentów są dostrojone do obciążenia; oraz czy Boomi i jego warstwa integracyjna są monitorowane razem, czy jako dwa niepowiązane systemy.

Dlaczego listenery Boomi pokazują stan „zdrowy”, choć nic nie jest przetwarzane?

Status listenera w Boomi odzwierciedla stan wdrożenia, a nie bieżące połączenie z brokerem. Jeśli po udanym wdrożeniu listenera kanał po stronie RabbitMQ przestanie działać, listener może nadal świecić na zielono, choć połączenia pod nim już nie ma, a komunikaty przestają płynąć.

Jaka jest domyślna wartość frame_max w RabbitMQ i dlaczego niskie ustawienie szkodzi integracjom Boomi?

RabbitMQ domyślnie negocjuje frame_max o wartości 131 072 bajtów (128 KiB). Wymuszenie niższej wartości nie zwiększa marginesu bezpieczeństwa – mnoży liczbę ramek potrzebnych do dostarczenia każdego komunikatu. Ładunek 16 MB, który przy wartości domyślnej wymaga około 96 ramek, przy nadpisaniu na 16 KB wymaga rzędu 8000 ramek, co dokłada czysty narzut do każdego dużego komunikatu wysyłanego przez Boomi tym połączeniem.

Jak odblokować zablokowaną kolejkę RabbitMQ za Boomi?

Najpierw trzeba potwierdzić, że to zastój po stronie konsumenta, a nie problem brokera – rosnąca liczba niepotwierdzonych komunikatów bez jawnych odrzuceń zwykle oznacza, że konsument przyjął pracę i nigdy jej nie dokończył, często z powodu timeoutu w systemie niższego rzędu lub zawieszonego wywołania. Wymuszenie ponownego połączenia przez zamknięcie zablokowanych połączeń zwalnia „widmowe” komunikaty w locie i pozwala opróżnić zaległości bez naruszania trwałości komunikatów.

Czy Boomi powinien łączyć się z RabbitMQ przez load balancer, czy bezpośrednio przez IP węzła?

Przez VIP z rozkładaniem obciążenia. Wskazanie Boomi bezpośredniego IP jednego węzła RabbitMQ oznacza, że awaria tego węzła kładzie całą integrację. Postawienie przed klastrem VIP-a na F5 (lub odpowiedniku) pozwala RabbitMQ kierować ruch i rozkładać obciążenie na te węzły, które faktycznie działają, a także umożliwia operacje takie jak aktualizacja RabbitMQ w modelu blue/green bez rekonfiguracji Boomi.

Czym różni się strojenie prefetch od single active consumer w listenerach Boomi?

Prefetch określa, ile niepotwierdzonych dostarczeń konsument może przetrzymywać jednocześnie; według zaleceń samego RabbitMQ optymalna przepustowość mieści się w zakresie od 100 do 300, a prefetch równy 1 serializuje całe przetwarzanie i obniża przepustowość. Single active consumer (x-single-active-consumer) rozwiązuje inny problem – przetwarzanie w kolejności – utrzymując na kolejce dokładnie jednego aktywnego konsumenta z automatycznym przełączaniem awaryjnym, bez spowolnienia do tempa, jakie daje prefetch równy 1.

Czy Boomi to narzędzie ETL?

Nie przede wszystkim. Boomi to platforma integracyjna w modelu usługowym (iPaaS), która ma funkcje mapowania i transformacji danych, ale jej główną rolą jest łączenie aplikacji, API i źródeł danych za pomocą środowiska uruchomieniowego Atom/molecule – bliżej jej do platformy integracji i zarządzania danymi niż do dedykowanego narzędzia ETL.

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Talk to an engineer

Need a hand with Boomi?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Poradniki, porównania i analizy

Więcej o wsparciu i cyklach życia wersji

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa środowisku Boomi

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas