BlogBoomi

Was ein Boomi-Integrations-Assessment wirklich zutage fördert

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 12 Min. Lesezeit

Was ein Boomi-Integrations-Assessment wirklich zutage fördert
Auf dieser Seite

Ein professionelles Boomi-Integrations-Assessment deckt Probleme auf, die selbst ein fähiges internes Team mit seinen eigenen Werkzeugen nicht sieht: Verbindungen, die auf einen einzelnen Node statt auf einen Endpunkt mit Load Balancing zeigen, Protokolleinstellungen, die unbemerkt von den Standards abweichen, hängende Queues, die wie Broker-Ausfälle aussehen, und keine gemeinsame Observability über den gesamten Integrations-Stack. Nichts davon zeigt sich als offensichtlicher Fehler. Es zeigt sich als sporadisches Hängen, das niemand auf Knopfdruck reproduzieren kann.

Boomi ist eine Enterprise Integration Platform as a Service (iPaaS): Die AtomSphere-Runtime von Dell Boomi übernimmt die Connectors, das API-Management und das Datenmapping hinter den Integrations-Workflows eines Unternehmens und läuft auf Atom- oder Molecule-Instanzen, die von dieser AtomSphere-Plattform verwaltet werden. Für Echtzeit-Integrationsprozesse (im Gegensatz zu Batch) sitzt diese Runtime typischerweise auf einer Messaging-Schicht – in diesem Projekt RabbitMQ –, und genau dort liegen mehrere der folgenden Ergebnisse.

Die Ergebnisse stammen aus einem realen, mehrere Sitzungen umfassenden Boomi-Assessment von AceMQ für einen Systemintegrator im Bundesbehördenumfeld, der seine digitale Transformation von alten zeitgesteuerten Jobs auf Echtzeit-Integrationsprozesse umstellt. Die Details sind allgemein gehalten; Kunde und beteiligte Personen werden nicht genannt.

Warum rückt RabbitMQ in den kritischen Pfad, wenn Boomi von Batch auf Echtzeit umstellt?

Das Projekt begann mitten in einer Migration: Der Kunde verließ eine alte .NET-Umgebung mit zeitgesteuerten Batch-Jobs und stellte auf Echtzeit-Integrationsprozesse in Boomi um – mit RabbitMQ als dem Baustein, der Echtzeit überhaupt erst möglich machte. Dieser Wechsel verändert, was „funktioniert“ bedeutet. Einen Batch-Job, der um 3 Uhr startete und irgendwann vor 8 Uhr fertig war, durfte fünfzehn Minuten oder zwei Stunden dauern – das störte niemanden. Ein Echtzeit-Gateway, das ein Boomi-Listener aus einer Queue abholt, muss einen Schwall von 1.000 Datensätzen ohne Timeout verarbeiten – es gibt kein nächtliches Zeitfenster, um den Rückstau aufzufangen.

Die Architektur spiegelte diesen Anspruch wider: ein Molecule mit drei Nodes in Test und Produktion, ein Atom mit einem Node in der Entwicklung und rund 35 RabbitMQ-Listener, die über die gesamte Umgebung verteilt Publish/Subscribe, asynchrones Auslösen von Dokumenten und lang laufende Batch-Verarbeitung parallel abwickelten. Das ist eine große Angriffsfläche, in der sich ein Problem auf Verbindungs- oder Protokollebene verstecken kann – und genau diese Fläche schreitet ein Boomi-Integrations-Assessment ab.

Warum zeigen Boomi-Listener Grün, während nichts verarbeitet wird?

Das war das wiederkehrende Symptom, mit dem das Projekt begann: Jeder Boomi-Listener meldete in seiner eigenen Statusansicht einen gesunden Zustand, während sich in den RabbitMQ-Queues dahinter nichts bewegte. Nichts scheiterte lautstark. Kein Alarm. Es blieb einfach stehen.

Die Ursache ist eine Lücke zwischen dem, was der „Listener-Status“ tatsächlich misst, und dem, was ein Team annimmt, dass er misst. Der Listener-Status in Boomi spiegelt den Deployment-Zustand wider – ob die Listener-Komponente gestartet ist und läuft –, nicht die aktuelle Verbindung zum Broker. Fiel ein RabbitMQ-Node aus, mit dem der Listener sprach, wurde er neu gebootet oder nach einem Patch neu gestartet und brach dadurch der Channel unter dem Listener weg, kann der Listener unbegrenzt weiter Grün anzeigen. RabbitMQ ist fehlertolerant und stellt die Verbindung in vielen Topologien irgendwann wieder her – aber „irgendwann“ ist kein Echtzeit-SLA, und ein Listener-Dashboard, das nie rot wird, gibt einem Team keinen Grund nachzusehen.

Warum braucht die RabbitMQ-Verbindung von Boomi eine F5-VIP statt der direkten IP eines Nodes?

Die Lösung für den Stillstand der Listener führte zurück zur Konfiguration der RabbitMQ-Verbindung in Boomi. Das Assessment ging die übliche Diagnosereihenfolge durch – ist die Verbindung hinter einem Load Balancer, steht eine VIP vor einem Pool, verteilt dieser Pool tatsächlich auf alle Cluster-Nodes, statt an einen einzigen gebunden zu sein – und stellte fest: Die RabbitMQ-Verbindung des Kunden lief zwar über einen F5, war aber nicht so konfiguriert, wie sie es hätte sein müssen. Es gab keinen echten Pool mit Load Balancing, keinen Schutz vor Sticky Routing auf einen einzelnen Node, und die Health Checks basierten auf der CPU – das falsche Signal für die Verfügbarkeit eines Brokers.

Die korrigierte Konfiguration verweist die Verbindung auf den DNS-Eintrag der F5-VIP, die vor allen Cluster-Nodes steht, eingerichtet als echter Pool mit Load Balancing und ohne Sticky Bit. Diese eine Änderung bewirkt drei Dinge zugleich: RabbitMQ kann über die Nodes routen und die Last verteilen, die tatsächlich gesund sind; ein Node, der für einen Patch heruntergefahren wird, ist kein Integrationsausfall mehr; und es werden Vorgänge wie ein Blue/Green-Upgrade von RabbitMQ möglich – das Umschalten von Verbindungspools hinter dem F5, ohne eine einzige Boomi-Komponente anzufassen.

Was kostet ein heruntergesetztes frame_max eine Boomi-Integration tatsächlich?

In der Environment Extension von Boomi für die RabbitMQ-Verbindung verbarg sich ein expliziter Override: frame_max auf 16 KB gesetzt. Niemand auf Kundenseite konnte sagen, warum – die Antwort lautete sinngemäß „das war schon immer so“. RabbitMQ handelt standardmäßig eine maximale AMQP-0-9-1-Frame-Größe von 131.072 Bytes (128 KiB) aus. Ein Override auf 16 KB macht nichts sicherer, sondern vervielfacht nur die Zahl der Frames, in die RabbitMQ jede Nachricht aufteilen muss. Eine Payload von 16 MB, die bei der Standardgröße in der Größenordnung von 96 Frames brauchen würde, benötigte bei der Einstellung von 16 KB rund 8.000 Frames – reiner Protokoll-Overhead bei jeder großen Nachricht der Integration, ohne irgendeinen Nutzen.

Die Lösung bestand darin, den Override vollständig zu entfernen und die Verbindungskomponente den Plattform-Standard aushandeln zu lassen, statt eine Zahl fest zu verdrahten. So übertragen sich künftige Änderungen an der zugrunde liegenden RabbitMQ-Konfiguration automatisch, statt still gegen einen veralteten Wert anzukämpfen, an dessen Setzen sich niemand mehr erinnert.

Solche Ergebnisse tauchen nie als Incident auf. Sie belasten nur still und dauerhaft jede große Nachricht, die eine Integration verschickt – bis jemand, der Anlass hat, einen fünf Jahre alten Standardwert zu hinterfragen, danach sucht.

Wie legt eine hängende EBS-Logger-Queue einen produktiven Boomi-Lauf lahm?

Das gravierendste Ergebnis war ein Hänger in der Produktion, der sich auf eine einzelne interne Logging-Queue zurückführen ließ – einen EBS-Logger-Exchange, über den Boomi-Prozesse strukturierte JSON-Logeinträge in eine gemeinsame Logging-Tabelle schrieben. Während des Incidents zeigte diese Queue zwei hängende und 42 abgelehnte Nachrichten, während die Zahl der unbestätigten Nachrichten auf dem Broker deutlich über 100 stieg und weiter wuchs, statt sich einzupendeln.

Die Diagnose war wichtiger als die Lösung. Eine wachsende Zahl unbestätigter Nachrichten, während andernorts in der Topologie noch Nachrichten im Zustand „ready“ liegen, ist kein Broker-Problem – RabbitMQ tat genau das, wofür es gedacht ist: Es hielt Nachrichten fest, die an einen Consumer zugestellt, aber nie bestätigt worden waren, für den Fall, dass sie erneut zugestellt werden müssen. Der eigentliche Fehler lag weiter vorn: Ein Consumer hatte Arbeit angenommen und sie schlicht nie abgeschlossen – höchstwahrscheinlich wegen eines kurzen Netzwerkaussetzers, eines blockierten SQL-Aufrufs oder eines nachgelagerten Timeouts, der ein Dokument in Bearbeitung zurückließ, ohne dass je eine Bestätigung zurückkam. Sobald genug Consumer in diesem Zustand waren, waren die Ausführungsslots ausgeschöpft, per Prefetch geholte Nachrichten blieben unbestätigt liegen, und der gesamte Logging-Pfad staute sich dahinter auf.

Die Recovery bestand darin, die hängenden RabbitMQ-Verbindungen hinter den eingefrorenen Consumern gezielt zwangsweise zu schließen. Das bringt Boomi dazu, sich neu zu verbinden und saubere Channels aufzubauen, statt unbegrenzt auf Verbindungen zu warten, die nie zurückkommen würden. Die Zahl der unbestätigten Nachrichten sank danach stetig – von über 120 durch die 100er bis schließlich in den einstelligen Bereich, während sich der Rückstau auflöste. Dafür musste weder die Dauerhaftigkeit der Nachrichten angetastet noch eine Queue geleert werden; es kam darauf an, richtig zu erkennen, dass der Broker gesund war und die Anwendungsschicht nicht.

Warum zählen Prefetch und Single Active Consumer bei den konkurrierenden Consumern von Boomi?

Das Molecule von Boomi betreibt auf jedem Node eine eigene Kopie jedes Listeners, jede mit eigener Nebenläufigkeitseinstellung. In dieser Umgebung ergab eine Nebenläufigkeit von 2 pro Listener-Kopie über ein Molecule mit drei Nodes rund 10 konkurrierende Consumer, die alle aus derselben RabbitMQ-Queue lasen. Für Workloads, bei denen die Reihenfolge der Nachrichten keine Rolle spielt, ist das ein vernünftiges Durchsatzmuster. Für Workloads, die eine sequenzielle Verarbeitung brauchen, sind 10 konkurrierende Consumer ein Korrektheitsrisiko, das nur auf das falsche Traffic-Muster wartet, um sichtbar zu werden.

Laut RabbitMQ selbst liegt der optimale Prefetch für durchsatzkritische Queues im Bereich von 100 bis 300, und es wird ausdrücklich darauf hingewiesen, dass ein Prefetch von 1 die Performance deutlich verschlechtert, weil er alles serialisiert und die meiste Zeit mit Roundtrips verbringt. Statt Durchsatz gegen Reihenfolge einzutauschen und den Prefetch auf 1 zu senken, lautete die Empfehlung, Single Active Consumer (x-single-active-consumer) auf den Queues einzusetzen, die tatsächlich sequenziell verarbeitet werden müssen. Damit bleibt pro Queue jeweils genau ein Consumer aktiv, und fällt er aus, wird automatisch umgeschaltet – Reihenfolgegarantie ohne den Roundtrip-Nachteil. Der Kunde stimmte zu, dies zunächst in einer niedrigeren Umgebung zu pilotieren, bevor es in die Produktion geht.

Welche Lücke in der Observability bleibt ohne gemeinsame Dashboards in Prometheus und Grafana?

Zu Beginn des Projekts hatte der Kunde nahezu keine gemeinsame Observability über Boomi und RabbitMQ hinweg. In der Entwicklung zog ein Prometheus-Java-Agent einige Boomi-Metriken ab, doch diese Daten wurden erfasst und sofort wieder verworfen – nichts wurde irgendwo gespeichert, sodass es keine Historie gab, auf die man bei einem Fehlverhalten hätte zurückblicken können. Es gab kein Grafana-Labeling speziell für Boomi und keinen OpenTelemetry Collector, der Daten direkt aus der Boomi-Runtime holte. Produktion und Test – die Umgebungen, auf die es tatsächlich ankam – hatten gar nichts.

In den folgenden Sitzungen haben die Engineers von AceMQ auf der Boomi/Molecule-Seite einen JMX Exporter aufgebaut und ihn an die Dashboards in Prometheus und Grafana angebunden, die bereits für RabbitMQ eingerichtet wurden. Beides landete in einem gemeinsamen Dashboard-Ordner, sodass sich Boomi- und RabbitMQ-Metriken nebeneinander lesen lassen statt in zwei getrennten Tools. Dazu gehörte ein Metrik-Export pro Pod, um einen einzelnen Molecule-Node als Ausreißer zu erkennen, der stark belastet ist oder hängt, sowie schwellenwertbasierte Detektoren für genau die Fehlerbilder, die dieses Assessment bereits von Hand gefunden hatte – blockierte Threads, Deadlocks und Pods, die hängen und nicht mehr zurückkommen.

Damit schließt sich die eigentliche Lücke hinter allen anderen Ergebnissen in diesem Beitrag. Ein Stillstand der Listener, eine hängende Logger-Queue und ein heruntergesetztes frame_max sehen von außen identisch aus, wenn Boomi und RabbitMQ als zwei voneinander unabhängige Systeme überwacht werden: Etwas ist langsam oder steht still, und niemand kann sagen, auf welcher Seite es begann. Eine Observability, die beides nebeneinander zeigt, macht daraus eine Diagnose von fünf Minuten statt einer stundenlangen Krisenschalte.

Das ist das Muster hinter den meisten Boomi-Integrations-Assessments: Auf dem Papier läuft die Plattform einwandfrei, und das eigentliche Risiko steckt in der Verbindungsschicht, den Protokolleinstellungen und der Monitoring-Lücke zwischen zwei Systemen, die niemand gemeinsam im Blick hat. Wer das richtig macht, wird mit betrieblicher Effizienz belohnt, nicht nur mit Verfügbarkeit – weniger hängende Datenpipelines, Workflows, die keine ständige Betreuung brauchen, und Analysen, denen man bei der nächsten Tuning-Runde wirklich vertrauen kann. Deshalb gibt es diese Inhalte auch nirgendwo sonst – sie stammen aus den eigenen RabbitMQ-Integrationsprojekten von AceMQ, nicht aus Herstellerdokumentation. Wenn Ihre Integrationsschicht und ihr Messaging-Backbone noch nie gemeinsam bewertet wurden, sprechen Sie mit AceMQ über ein Boomi-Integrations-Assessment.

FAQ

Was prüft ein Boomi-Integrations-Assessment eigentlich?

Es prüft genau das, was ein funktionierendes Integrationsteam von innen nicht erkennt: ob die Verbindungen von Boomi zu nachgelagerten Systemen (einschließlich der Messaging-Schicht) über einen Load Balancer laufen oder auf einen einzelnen Node zeigen, ob die Einstellungen auf Protokollebene den Plattform-Standards entsprechen, ob sich hinter einem Listener hängende oder nicht bestätigte Nachrichten aufstauen, ob Prefetch und Consumer-Nebenläufigkeit auf den Workload abgestimmt sind und ob Boomi und seine Integrationsschicht gemeinsam überwacht werden oder als zwei voneinander getrennte Systeme.

Warum zeigen Boomi-Listener einen gesunden Zustand, während nichts verarbeitet wird?

Der Listener-Status in Boomi spiegelt den Deployment-Zustand wider, nicht die aktuelle Verbindung zum Broker. Bricht auf der RabbitMQ-Seite ein Channel weg, nachdem der Listener erfolgreich deployt wurde, kann der Listener weiter Grün melden, während die Verbindung darunter verschwunden ist und keine Nachrichten mehr fließen.

Was ist der Standardwert von frame_max in RabbitMQ, und warum schadet ein niedriger Wert Boomi-Integrationen?

RabbitMQ handelt standardmäßig ein frame_max von 131.072 Bytes (128 KiB) aus. Den Wert herunterzusetzen bringt keine zusätzliche Sicherheitsreserve, sondern vervielfacht die Zahl der Frames, die für die Zustellung jeder Nachricht nötig sind. Eine Payload von 16 MB, die beim Standardwert rund 96 Frames braucht, benötigt bei einem Override auf 16 KB in der Größenordnung von 8.000 Frames – reiner Overhead für jede große Nachricht, die Boomi über die Verbindung schickt.

Wie bringt man eine hängende RabbitMQ-Queue hinter Boomi wieder in Gang?

Bestätigen Sie zuerst, dass es sich um einen Stillstand auf Consumer-Seite handelt und nicht um ein Broker-Problem – eine wachsende Zahl unbestätigter Nachrichten, ohne dass etwas direkt abgelehnt wird, bedeutet meist, dass ein Consumer Arbeit übernommen und nie abgeschlossen hat, oft wegen eines nachgelagerten Timeouts oder eines hängenden Aufrufs. Ein erzwungener Reconnect durch das Schließen der hängenden Verbindungen gibt die vermeintlich in Bearbeitung befindlichen Nachrichten frei und lässt den Rückstau abfließen, ohne die Dauerhaftigkeit der Nachrichten anzutasten.

Sollte sich Boomi über einen Load Balancer oder über die direkte IP eines Nodes mit RabbitMQ verbinden?

Über eine VIP mit Load Balancing. Zeigt Boomi auf die direkte IP eines einzelnen RabbitMQ-Nodes, reißt der Ausfall dieses Nodes die Integration mit. Steht vor dem Cluster eine VIP auf einem F5 (oder einem vergleichbaren System), kann RabbitMQ über die Nodes routen und die Last verteilen, die tatsächlich laufen – und Vorgänge wie ein Blue/Green-Upgrade von RabbitMQ werden möglich, ohne Boomi umzukonfigurieren.

Was ist der Unterschied zwischen Prefetch-Tuning und Single Active Consumer bei Boomi-Listenern?

Prefetch steuert, wie viele unbestätigte Zustellungen ein Consumer gleichzeitig halten kann; laut RabbitMQ selbst liegt der optimale Durchsatz im Bereich von 100 bis 300, während ein Prefetch von 1 alles serialisiert und den Durchsatz drückt. Single Active Consumer (x-single-active-consumer) löst ein anderes Problem – die geordnete Verarbeitung –, indem genau ein Consumer pro Queue aktiv bleibt und bei Ausfall automatisch übernommen wird, ohne auf das Schneckentempo eines Prefetch von 1 zurückzufallen.

Ist Boomi ein ETL-Tool?

Nicht in erster Linie. Boomi ist eine Integration Platform as a Service (iPaaS) mit Funktionen für Datenmapping und -transformation, seine Kernaufgabe ist aber die Verbindung von Anwendungen, APIs und Datenquellen über seine Atom/Molecule-Runtime – näher an einer Plattform für Integration und Datenmanagement als an einem reinen ETL-Tool.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Mit einem Engineer sprechen

Brauchen Sie Unterstützung bei Boomi?

Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Boomi-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben