Przegląd
Firma prowadzi wiele zakładów produkcyjnych, które opierają decyzje produkcyjne na ingestii danych w czasie rzeczywistym. Dotychczasowy system wykorzystywał triggery SQL Server do przechwytywania zdarzeń w bazie danych i przekazywania ich dalej, ale takie podejście powodowało poważne przeciążenie CPU produkcyjnych serwerów baz danych i zagrażało stabilności operacyjnej.
Wyzwanie
System ingestii oparty na triggerach SQL wywoływał krytyczną rywalizację o CPU na produkcyjnych bazach danych, co wpływało na dostarczanie danych w czasie rzeczywistym. Operacje produkcyjne wymagają przepływów danych o niskich opóźnieniach — opóźnienia przekraczające kilka minut mogą uruchamiać alarmy na hali produkcyjnej, a nawet wymuszać zatrzymanie linii. Dotychczasowy middleware workerów był trudny w utrzymaniu i nie miał dostawcy, który by za niego odpowiadał.
Środowisko
Lokalny klaster Kubernetes Rancher, bazy danych SQL Server, Ignition SCADA, wiele systemów realizacji produkcji (MES) w sześciu zakładach, z harmonogramem wdrożenia produkcyjnego sięgającym 2027 roku.
Podejście
AceMQ zrealizował etapowy projekt doradczy, rozpoczynając od trzytygodniowej fazy rozpoznania i oceny architektury. Zespół przeanalizował kilka narzędzi komunikacyjnych, w tym RabbitMQ, MQTT i Kafkę, a następnie zaprojektował i zbudował proof of concept demonstrujący wzorzec tabel cieni (shadow tables) do nieblokującej ekstrakcji danych, który eliminuje rywalizację w bazie danych przy zachowaniu dostarczania w czasie rzeczywistym.
Rozwiązanie
- Zaprojektowanie wzorca tabel cieni umożliwiającego nieblokującą ekstrakcję danych z SQL Server bez wpływu na wydajność produkcyjnej bazy danych
- Zbudowanie demonstracyjnego przepływu danych z Ignition do RabbitMQ w celu walidacji publikowania zdarzeń w czasie rzeczywistym
- Ocena i rekomendacja narzędzi komunikacyjnych (MQTT, Kafka, RabbitMQ) dla różnych przypadków użycia na hali produkcyjnej
- Opracowanie planu architektury ingestii danych sterowanej zdarzeniami dla sześciu zakładów
- Strategia stałego wsparcia i utrzymania z jasną odpowiedzialnością dostawcy
Efekt
Proof of concept potwierdził, że nowa architektura eliminuje rywalizację o CPU w bazie danych przy zachowaniu dostarczania danych w czasie poniżej minuty. Etapowe wdrożenie w sześciu zakładach przebiega zgodnie z planem na lata 2026–2027, a AceMQ zapewnia stałe doradztwo architektoniczne i wsparcie wdrożeniowe.