Leitfaden · Kafka

Kafka für KI-Agenten ohne Confluent Cloud

Agenten brauchen aktuellen Kontext, eine dauerhafte Aufzeichnung ihrer Aktionen und einen sicheren Weg, Tools aufzurufen. Die ersten beiden Punkte liefert Kafka bereits, den dritten kann es transportieren. Confluent Cloud bündelt vieles davon als Streaming Agents auf seinem Managed Flink, doch keines der zugrunde liegenden Patterns setzt das voraus. Dieser Leitfaden geht die Designentscheidungen der Reihe nach durch, benennt, worauf Sie bei Open-Source-Kafka, Amazon MSK oder Aiven verzichten, und verweist für jeden Schritt auf den ausführlichen Fachartikel.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 7 Min. Lesezeit · 9 Abschnitte

Auf dieser Seite

Kafka für Agenten in einem Absatz

Kafka für Agenten in einem Absatz

Nutzen Sie Topics als Kontext und Verlauf des Agenten: Change Data Capture (CDC) aus Ihren Datenbanken hält Retrieval-Indizes aktuell, ein kompaktiertes Topic enthält den neuesten Zustand je Entität, und ein Topic mit Retention ist eine abspielbare Aufzeichnung jeder Entscheidung. Verwenden Sie die Session- oder Konversations-ID als Message Key, damit jede Konversation geordnet auf einer Partition bleibt. Behandeln Sie Tool-Aufrufe als Request/Reply über Topics mit Correlation IDs, betreiben Sie Agenten als Consumer Groups oder ab Kafka 4.2 als Share Groups, und machen Sie jeden externen Seiteneffekt idempotent, denn Kafka-Transaktionen enden an der Cluster-Grenze. Versehen Sie Agent-Nachrichten mit einem Schema. Außerhalb von Confluent Cloud entfallen Streaming Agents und Managed Flink; an ihre Stelle treten selbst betriebenes oder Cloud-gemanagtes Flink, Kafka Streams, das Preview-Projekt Apache Flink Agents und eine Open-Source-Schema-Registry. Jeder MCP-Server mit Zugriff auf den Cluster erhält einen eigenen Principal und eine Allow-List von Tools.

Event Streams als Kontext und Gedächtnis von Agenten

Ein Agent ist nur so gut wie das, was er beim Handeln weiß. Kafka bietet ihm zwei nützliche Formen von Gedächtnis. Ein Topic mit Retention ist Verlauf: jedes Event in Reihenfolge, abspielbar ab jedem Offset. So bauen Sie die Sicht eines Agenten nach einem Bug neu auf oder testen einen neuen Prompt mit dem Traffic der letzten Woche. Ein kompaktiertes Topic ist aktueller Zustand: Kafka behält mindestens den letzten Wert je Key, sodass ein Consumer, der von vorn liest, ohne separate Datenbank den neuesten Datensatz je Kunde, Auftrag oder Ticket erhält.

Datensätze mit demselben Key landen auf derselben Partition, und Kafka garantiert, dass Consumer eine Partition in Schreibreihenfolge lesen. Genau diese Eigenschaft brauchen Agenten am meisten: Ist der Key die Session- oder Konversations-ID, kommt jede Nachricht dieser Konversation in der richtigen Reihenfolge bei der Agent-Instanz an, der die Partition zugeordnet ist.

Kafka Connect und CDC für RAG-Pipelines

Retrieval nützt nur, wenn der Index zur Quelle passt. Das gängige Pattern ist Change Data Capture (CDC): Debezium läuft als Kafka-Connect-Source-Connector, liest das Transaktionslog der Datenbank und schreibt pro Tabelle einen Change Stream nach Kafka. Ein Verarbeitungsschritt macht aus jeder Änderung Chunks und Embeddings, und ein Sink schreibt sie in den Vector Store – ob Redis, OpenSearch, PostgreSQL mit Vektor-Extension oder eine dedizierte Datenbank. Updates führen zu neuen Embeddings der Zeile; Löschungen kommen als Delete-Events und Tombstones an, und die Pipeline muss die zugehörigen Vektoren entfernen. Andernfalls zitiert der Agent weiterhin Datensätze, die es nicht mehr gibt.

Halten Sie den Embedding-Schritt vom Connector getrennt, damit Sie bei einem Modellwechsel – und der kommt bestimmt – aus dem Topic neu einbetten können. Bewahren Sie die Change-Topics lange genug auf, damit dieses Replay möglich ist.

Stream Processing für Features und Embeddings

Zwei Engines erledigen den Großteil dieser Arbeit. Kafka Streams ist eine Bibliothek innerhalb Ihrer Anwendung: Sie hält fehlertolerante lokale State Stores vor, unterstützt Exactly-once-Verarbeitung zwischen Kafka-Topics und eignet sich für Anreicherung, Joins und Aggregate pro Session, die in den Kontext eines Agenten einfließen. Apache Flink ist ein separater Cluster mit SQL, Table API und asynchronem I/O – der übliche Weg, ein Embedding-Modell oder einen Inferenz-Endpoint aus einem Stream aufzurufen, ohne ihn zu blockieren.

Die Flink-Community hat zudem Apache Flink Agents gestartet, ein Framework für ereignisgesteuerte Agenten auf Flink in Java und Python mit Tool Calling, Kurzzeitgedächtnis mit TTLs, Langzeitgedächtnis und Vector-Store-Integrationen. Das Release 0.3 vom Juni 2026 bezeichnet die APIs als experimentell und inkompatiblen Änderungen unterworfen. Betrachten Sie es daher als Evaluierungskandidaten, noch nicht als Fundament für ein Produktivsystem.

MCP-Server für Kafka – und was sie nicht dürfen sollten

Confluent veröffentlicht mit mcp-confluent einen Open-Source-MCP-Server unter der MIT-Lizenz. Er funktioniert mit Confluent Cloud, Confluent Platform und eigenständigem Apache Kafka über Bootstrap-Server, stellt mehr als 50 Tools für Topics, Produce und Consume, Consumer Groups und Lag, Flink SQL, Connectors, Schema Registry und Tableflow bereit und läuft über stdio, HTTP oder SSE. Tools, die von Confluent-Diensten abhängen, funktionieren nur dort, wo diese Dienste vorhanden sind. Außerdem unterstützt er Allow-Lists und Block-Lists für Tools – die wichtigste Funktion überhaupt. Es gibt auch Community-MCP-Server für Kafka; prüfen Sie diese wie jeden Drittanbieter-Code, dem Sie Cluster-Zugangsdaten anvertrauen.

Geben Sie dem MCP-Server auf einem Produktiv-Cluster einen eigenen Principal mit ACLs, die auf benannte Topics und Groups beschränkt sind. Erlauben Sie Describe, Read und Lag-Abfragen. Sperren Sie das Löschen von Topics, Konfigurationsänderungen, Partition Reassignment und Offset-Resets konsequent, und erlauben Sie Produce nur in ein Staging- oder Request-Topic, das ein von Menschen geprüfter Prozess konsumiert. Setzen Sie Client Quotas, damit ein Agent in einer Schleife keinen Broker auslasten kann, und führen Sie Audit-Logs über jeden Aufruf.

Notfall-SLA von 15 Minuten. Namentlich zugeordnete Senior Engineers.

Kontakt

Patterns: Tool-Aufrufe, Agent-Pools und Reihenfolge

Request/Reply für Tool-Aufrufe. Der Agent schreibt eine Anfrage mit Correlation ID und Reply-Topic in den Headern in das Topic eines Tools; der Tool-Service konsumiert sie, erledigt die Arbeit und schreibt das Ergebnis in das Reply-Topic. Der Agent ordnet Antworten über die Correlation ID zu und lässt ausbleibende in einen Timeout laufen. Das entkoppelt Agenten von Tools, schafft für jeden Aufruf eine dauerhafte Aufzeichnung und lässt Anfragen an ein langsames Tool in der Queue warten, statt fehlzuschlagen.

Consumer Groups als Agent-Pools. Betreiben Sie Agent-Instanzen als eine Consumer Group, verteilt Kafka die Partitionen auf sie – die Parallelität endet jedoch bei der Partitionsanzahl. Queues for Kafka (KIP-932), seit Kafka 4.2 produktionsreif, führt Share Groups ein: Consumer können zahlreicher sein als Partitionen, Datensätze werden einzeln bestätigt und Zustellversuche gezählt. Das passt zu unabhängigen Aufgaben wie der Anreicherung von Dokumenten. Share Groups verzichten auf die Reihenfolge pro Partition; Konversationen gehören daher in normale Consumer Groups.

Reihenfolge pro Konversation. Verwenden Sie für jede Nachricht die Session- oder Konversations-ID als Key. Ein Key, eine Partition, eine geordnete Abfolge. Wächst eine einzelne Konversation über einen Consumer hinaus, liegt das Designproblem in der Konversation, nicht in der Partitionsanzahl.

Exactly-once endet an der Cluster-Grenze

Idempotente Producer und Transaktionen ermöglichen Exactly-once-Verarbeitung von Kafka-Topic zu Kafka-Topic, und Kafka Streams nutzt genau das. Die Seiteneffekte eines Agenten sind aber selten Kafka-Writes: Er verschickt eine E-Mail, belastet eine Karte, legt ein Ticket an. Kafkas eigene Design-Dokumentation stellt klar: Beim Schreiben in ein externes System muss die Consumer-Position mit der Ausgabe abgestimmt werden – entweder indem Offsets zusammen mit dem Ergebnis gespeichert werden oder indem der Write idempotent ist. Für Agenten lautet die praktische Regel: ein Idempotenz-Key für jeden Tool-Aufruf, abgeleitet aus Konversation und Schritt, den das Tool vor dem Handeln prüft.

Retention, Compaction und Schemas für Agent-Nachrichten

Legen Sie die Retention pro Topic danach fest, wofür die Daten dienen. Konversations- und Entscheidungslogs brauchen lange Retention für Replay und Audit. Der aktuelle Agent-Zustand gehört in ein kompaktiertes Topic, in dem ein Datensatz mit Null-Wert ein Tombstone ist, der den Key entfernt. Tombstones selbst werden nach delete.retention.ms bereinigt, standardmäßig nach 24 Stunden. Ein Consumer, der länger zurückliegt, kann also eine Löschung verpassen; bemessen Sie diese Einstellung nach Ihrem langsamsten Rebuild. Für ein kompaktiertes Topic, dessen Daten zusätzlich altern sollen, verwenden Sie die kombinierte Cleanup Policy compact und delete.

Agent-Nachrichten ändern häufig ihre Struktur, geben Sie ihnen also Schemas. Confluent Schema Registry steht unter der Confluent Community License, ihre Client- und Serializer-Module unter Apache 2.0. Apicurio Registry und Karapace sind Registries unter Apache 2.0, die die Confluent-kompatible API implementieren, sodass die meisten bestehenden Serializer damit funktionieren. Nutzen Sie Avro, Protobuf oder JSON Schema und erzwingen Sie Kompatibilitätsregeln, damit eine Prompt-Änderung, die ein Feld umbenennt, nicht sämtliche nachgelagerten Consumer lahmlegt.

Ohne Confluent Cloud: worauf Sie verzichten und was es ersetzt

Confluent Streaming Agents laufen auf Confluent Cloud for Apache Flink. Damit definieren Sie Agenten in SQL, rufen Tools über MCP auf, nutzen Modelle verschiedener Anbieter und spielen Agent-Läufe zu Testzwecken gegen historische Events ab. Das ist ein echter Komfortgewinn – und auf Open-Source-Kafka, Amazon MSK oder Aiven gibt es ihn nicht. Ebenso wenig ein vollständig gemanagtes Flink, das an denselben Cluster gekoppelt ist.

Der Ersatz besteht aus Komponenten, nicht aus einem Produkt. Betreiben Sie Flink selbst oder nutzen Sie auf AWS Amazon Managed Service for Apache Flink, das aus MSK liest. Schreiben Sie Agenten in Kafka Streams oder als Consumer mit Ihrem eigenen Agent-Framework, und behalten Sie Apache Flink Agents im Blick, während das Projekt reift. Ersetzen Sie Schema Registry durch Apicurio oder Karapace, wenn die Lizenzierung eine Rolle spielt. mcp-confluent funktioniert für die zentralen Topic- und Consumer-Tools weiterhin mit eigenständigem Kafka. Worauf Sie tatsächlich verzichten, sind Integration und die Rufbereitschaft eines anderen – genau diese Frage sollten Sie vor der Entscheidung beantworten.

Wer betreibt es?

Eine Agent-Plattform auf Kafka ist eine Kafka-IT-Landschaft mit mehr Consumern, mehr Connectors und strengeren Audit-Anforderungen. Die Arbeit ist dieselbe wie bei jedem Produktiv-Cluster: Planung von Partitionen und Retention, ACLs und Quotas, Betrieb der Connectors, Upgrades auf das Release mit den benötigten Features. Entscheiden Sie früh, ob Ihr Team die Rufbereitschaft selbst übernimmt oder an jemanden übergibt, der das leistet.

Häufig gestellte Fragen

Kann ich den MCP-Server von Confluent mit Open-Source-Kafka nutzen?

Ja. mcp-confluent verbindet sich über Bootstrap-Server mit eigenständigem Apache Kafka sowie mit Confluent Cloud und Confluent Platform. Tools, die von Confluent-Diensten wie Flink SQL oder Tableflow abhängen, benötigen diese Dienste. Nutzen Sie die Allow-List, um nur die Tools freizugeben, die ein Agent braucht.

Bietet Kafka Exactly-once-Zustellung für Tool-Aufrufe von Agenten?

Nein. Transaktionen ermöglichen Exactly-once-Verarbeitung zwischen Kafka-Topics. Ein Tool-Aufruf, der in ein externes System schreibt, braucht einen Idempotenz-Key oder zusammen mit dem Ergebnis gespeicherte Offsets, damit eine erneut zugestellte Nachricht die Aktion nicht wiederholt.

Sind Kafka Share Groups produktionsreif?

Ja, ab Apache Kafka 4.2. Dort wurde Queues for Kafka (KIP-932) nach einer Preview in 4.1 für produktionsreif erklärt. Mit Share Groups können Consumer zahlreicher sein als Partitionen und Datensätze einzeln bestätigen – auf Kosten der Reihenfolge pro Partition.

Ist Apache Flink Agents produktionsreif?

Noch nicht. Die Release Notes zu 0.3 bezeichnen APIs und Konfiguration als experimentell und nicht abwärtskompatiblen Änderungen unterworfen. Evaluieren Sie es, bauen Sie produktive Agenten vorerst aber auf Flink oder Kafka Streams mit Ihrem eigenen Agent-Framework.

Worauf verzichte ich, wenn ich Agenten auf MSK oder Aiven statt auf Confluent Cloud betreibe?

Auf Confluent Streaming Agents und das Managed Flink, auf dem sie laufen. Die zugrunde liegenden Patterns funktionieren auf jedem Kafka; Flink, eine Schema Registry und den Agent-Code stellen Sie selbst zusammen oder nutzen einen Cloud-gemanagten Flink-Dienst wie Amazon Managed Service for Apache Flink.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben