Zurück zu allen Kundenbeispielen

FehlerbehebungEnergie / Versorger

Ohne Backpressure-Schwellenwerte füllt NiFi bereitwillig den Datenträger

Regionaler Versorgungsbetreiber

Wiederherstellung von NiFi-Knoten, deren Content Repository vollgelaufen ist, weil vor einem Prozessor mit Rückstau keine Queue-Limits gesetzt waren.

Überblick

NiFi hält den Inhalt von FlowFiles auf dem Datenträger im Content Repository, und Connections ohne Backpressure-Schwellenwerte stauen unbegrenzt. Wird ein nachgelagerter Prozessor langsamer oder stoppt, produzieren die vorgelagerten Prozessoren weiter, und das Repository wächst, bis das Volume voll ist – dann kann der Knoten auch keine Provenance mehr schreiben und steht praktisch still. AceMQ stellt den Knoten wieder her und setzt die Limits, die von Anfang an hätten gesetzt sein sollen.

Herausforderung

Der Ablauf ist immer derselbe: Ein Zielsystem fällt aus oder wird langsam, sein Prozessor arbeitet die eingehende Queue nicht mehr ab, die vorgelagerten Prozessoren produzieren weiter, und die Connection Queues wachsen unbegrenzt, weil die Standardschwellenwerte nie angepasst wurden. Der Datenträger läuft voll, das Provenance Repository kann nicht mehr schreiben, und der Knoten stellt die Verarbeitung komplett ein. Die Wiederherstellung ist heikel, denn das manuelle Löschen von Repository-Dateien beschädigt den FlowFile-Zustand, und archivierter Content macht die Lage zusätzlich unübersichtlich.

Umgebung

Apache-NiFi-Cluster On-Premises oder auf Cloud-VMs mit getrennten FlowFile-, Content- und Provenance-Repositories, die Daten aus Feld- und Unternehmenssystemen aufnehmen.

Vorgehen

AceMQ gewinnt Speicherplatz sicher zurück – über den Ablauf des Content-Archivs und kontrolliertes Abarbeiten der Queues statt über manuelles Löschen von Dateien – und stellt dann Knoten und Flow wieder her. Die dauerhafte Arbeit besteht darin, auf jeder Connection Backpressure-Schwellenwerte für Objektanzahl und Datengröße zu setzen, wo sinnvoll Load Balancing und Priorisierung zu ergänzen und die Repositories auf eigene Volumes zu verteilen, damit ein volles Repository nicht die anderen stoppt.

Lösung

  1. Sichere Rückgewinnung von Speicherplatz über den Ablauf des Content-Archivs und kontrolliertes Abarbeiten der Queues, ohne manuelles Löschen von Repository-Dateien
  2. Backpressure-Schwellenwerte für Objektanzahl und Datengröße auf jeder Connection, dimensioniert am Durchsatz der nachgelagerten Systeme
  3. Archiv-Einstellungen, Aufbewahrungsdauer und Nutzungsanteil des Content Repository auf das verfügbare Volume abgestimmt
  4. Repositories auf eigene Volumes verteilt, damit wachsender Content keine Provenance- und FlowFile-Schreibvorgänge mehr stoppen kann
  5. Design von Fehlerpfaden für die betroffenen Prozessoren, die in einen Retry- oder Halte-Flow leiten, statt unbegrenzt zu stauen
  6. Alerting für Datenträgerauslastung, Queue-Tiefe und Backpressure, damit der Zustand lange vor einem vollen Volume Alarm auslöst

Resultat

Die betroffenen Knoten gehen ohne Verlust von FlowFiles wieder in Betrieb, und dank Backpressure auf Connection-Ebene verlangsamt ein Ausfall weiter hinten jetzt den Flow, statt den Datenträger zu füllen. Das Alerting erkennt den Zustand, solange noch Spielraum zum Handeln bleibt.

Technologien

Apache NiFiApache KafkaApache Hadoop

Haben Sie ein Produktionsproblem mit Apache NiFi?

Die Senior Engineers von AceMQ für Apache NiFi haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.