Auf dieser Seite
Lesen Sie Kafka auf Databricks mit dem Format kafka in Structured Streaming oder mit read_kafka in einer Lakeflow-Pipeline und schreiben Sie mit einem Checkpoint in eine Delta-Tabelle. Nutzen Sie eine Streaming Table, wenn Databricks Orchestrierung, Checkpoints und Recovery übernehmen soll. Nutzen Sie einen Structured-Streaming-Job, wenn Sie eigenen Code brauchen. Auto Loader liest Dateien, keine Topics – er passt also nur, wenn bereits etwas anderes das Topic im Object Storage ablegt.
Ein Structured-Streaming-Job, der neue Datensätze lädt und dann stoppt:
(spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "<bootstrap-server>:9092")
.option("subscribe", "<topic-name>")
.option("databricks.serviceCredential", "<service-credential-name>")
.load()
.selectExpr("CAST(key AS STRING) AS key", "CAST(value AS STRING) AS value", "topic", "partition", "offset", "timestamp")
.writeStream
.option("checkpointLocation", "/path/to/checkpoint")
.trigger(availableNow=True)
.toTable("catalog.schema.events_raw"))
Dieselbe Ingestion als Streaming Table:
CREATE OR REFRESH STREAMING TABLE catalog.schema.events_raw AS
SELECT * FROM STREAM read_kafka(
bootstrapServers => '<bootstrap-server>:9092',
subscribe => '<topic-name>',
serviceCredential => '<service-credential-name>'
);Structured Streaming Kafka-Source: Die entscheidenden Optionen
kafka.bootstrap.serversplus eine der Optionensubscribe,subscribePatternoderassignist das Minimum.startingOffsetsist für Streams standardmäßiglatestund gilt nur für eine neue Query. Eine fortgesetzte Query liest immer ab ihrem Checkpoint.failOnDataLossist standardmäßig true, die Query schlägt also fehl, wenn Offsets aus der Kafka-Retention abgelaufen sind. Setzen Sie den Wert nur dann auf false, wenn das Überspringen von Daten akzeptabel ist.maxOffsetsPerTriggerbegrenzt jeden Micro-Batch, proportional über die Partitionen verteilt.minOffsetsPerTriggermitmaxTriggerDelay(standardmäßig 15 Minuten) wartet, bis sich ein Batch lohnt.
Key und Value kommen binär an, daher müssen Sie sie casten oder mit from_avro dekodieren. Die Kafka-Source committet keine Offsets zurück an Kafka, ein auf Consumer Groups basierendes Lag-Dashboard zeigt für diese Streams also nichts an. Lesen Sie stattdessen avgOffsetsBehindLatest und maxOffsetsBehindLatest aus dem Query-Fortschritt.
Streaming Tables, Auto Loader oder ein Job?
Databricks empfiehlt Streaming Tables für die meisten Ingestion-Szenarien und bezeichnet Streaming Tables mit Continuous Execution und Enhanced Autoscaling als effizientesten Weg für das Laden mit niedriger Latenz aus Message Buses. Sie sind Teil von Lakeflow Spark Declarative Pipelines, dem Produkt, das früher Delta Live Tables hieß.
- Streaming Table mit
read_kafka, wenn es um Ingestion und leichte Transformationen geht. - Structured-Streaming-Job, wenn Sie eigenen Code,
foreachBatchoder mehrere Sinks brauchen. - Auto Loader, wenn ein Connector das Topic bereits als Dateien in den Object Storage schreibt. Er erkennt Dateien inkrementell und kann kein Topic abonnieren.
Exactly-once-Verarbeitung und Checkpointing
Der Checkpoint erfasst, welche Offsets jeder Micro-Batch gelesen hat und welche Batches in den Sink committet wurden – genau das ermöglicht Exactly-once-Verarbeitung in eine Delta-Tabelle. Vier Regeln verhindern die meisten Ausfälle:
- Eine Checkpoint-Location pro Query. Teilen Sie sie niemals.
- Eine Änderung der abonnierten Topics erfordert einen neuen Checkpoint. Eine Änderung von Rate Limits oder Trigger-Intervall nicht.
foreachBatchliefert at-least-once, gestalten Sie die Batch-Logik daher idempotent.- Konfigurieren Sie den Job so, dass er bei Fehlern neu startet. Databricks empfiehlt den Continuous Trigger auf Jobs Compute, der einen fehlgeschlagenen Lauf mit exponentiellem Backoff neu startet.
Exactly-once innerhalb von Spark ändert nichts an der Kafka-Retention. Laufen Offsets ab, bevor der Stream aufholt, schlägt die Query fehl oder überspringt Daten. Die Kafka-Seite behandeln wir in Kafka Exactly-once-Semantik.
Schema Registry und from_avro
Für Avro nimmt from_avro ein Registry-Subject und eine Adresse entgegen, sodass niemand das Schema manuell pflegen muss:
from_avro(
data = col("value"),
jsonFormatSchema = None,
options = schema_registry_options,
subject = "t-value",
schemaRegistryAddress = "https://<registry-endpoint>"
)
Für eine Confluent-Registry übergeben Sie die Credentials in der Options-Map: confluent.schema.registry.basic.auth.credentials.source auf USER_INFO und confluent.schema.registry.basic.auth.user.info auf key:secret. Standardmäßig schlägt from_avro bei einer inkompatiblen Schemaänderung fehl (FAILFAST). Setzen Sie avroSchemaEvolutionMode ab Databricks Runtime 14.2 auf restart, dann wirft die Query beim Erkennen der Änderung einen Fehler, sodass ein Job mit Restart-on-Failure sie gezielt statt zufällig übernimmt.
Consumer-Parallelität passend zu den Partitionen dimensionieren
Spark erstellt eine Partition pro Kafka-Topic-Partition, sofern Sie nicht minPartitions setzen. Die Leseparallelität beginnt also bei Ihrer Partitionsanzahl, darüber hinausgehende Cores bleiben ungenutzt. minPartitions und maxRecordsPerPartition teilen große Kafka-Partitionen auf mehr Tasks auf, was bei Skew und beim Aufholen hilft. minPartitions initialisiert die Kafka-Consumer jedoch bei jedem Trigger neu und kann die Performance über SSL beeinträchtigen. Eine Hot Partition lässt trotzdem einen Task langsamer laufen als die übrigen – korrigieren Sie also den Key, bevor Sie Cores hinzufügen.
Dimensionieren Sie den Cluster nach der Partitionsanzahl in Spitzenzeiten, mit Reserven. Die Abwägungen finden Sie unter Kafka-Partitionsstrategie und Kafka Consumer Lag.
Authentifizierung: MSK, Confluent Cloud und SASL
- Amazon MSK mit IAM. Erstellen Sie ab Databricks Runtime 16.1 ein Unity Catalog Service Credential und setzen Sie
databricks.serviceCredential. Databricks empfiehlt dies für Shared Cluster und Serverless Compute. Kombinieren Sie es nicht mitkafka.sasl.*- oderkafka.security.protocol-Optionen. Instance Profiles verwenden stattdessenAWS_MSK_IAMmit dem shaded IAM-Login-Modul. - SASL/PLAIN oder SCRAM. Setzen Sie
kafka.security.protocolaufSASL_SSLund verwenden Sie die shaded Klassennamen von Databricks, etwakafkashaded.org.apache.kafka.common.security.scram.ScramLoginModule. Unshaded Namen schlagen mitRESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCEDfehl. - Confluent Cloud. API-Key und Secret werden als SASL/PLAIN-Benutzername und -Passwort übergeben. Speichern Sie sie in einem Secret Scope, nicht im Notebook-Code.
Wenn Verbindungen in einen Timeout laufen, prüfen Sie zuerst das Netzwerk, dann die Credentials. Die Security Group des Brokers muss das Databricks-Compute zulassen, für IAM typischerweise auf Port 9098, und Peering oder PrivateLink muss eingerichtet sein.
Kosten im Griff behalten
- Nutzen Sie
Trigger.AvailableNowfür inkrementelle Loads. Databricks empfiehlt ihn für inkrementelles Batch-Loading aus Kafka, und Serverless Notebooks und Jobs unterstützen nur ihn undTrigger.Once. Für kontinuierliches Streaming auf Serverless verwenden Sie eine Pipeline im Continuous Mode. - Betreiben Sie Streams auf Jobs Compute, nicht auf All-Purpose Compute, und aktivieren Sie kein Autoscaling für Structured-Streaming-Jobs.
- Ein
processingTime-Trigger von 0 liefert die niedrigste Latenz, erhöht aber die API-Kosten für Cloud Storage. Klären Sie, ob der Consumer Sekunden oder Minuten braucht. - Nutzen Sie
minOffsetsPerTrigger, um eine Flut winziger Micro-Batches zu vermeiden, und Liquid Clustering (CLUSTER BY), um die Abfrageperformance zu halten, während die Tabelle wächst.
Wo die Kafka-Seite zählt
Mehrere der oben genannten Fehlerbilder liegen auf der Kafka-Seite: abgelaufene Offsets, eine Hot Partition, eine geänderte Authentifizierung. Liegt das Problem beim Cluster, ist das ein Fall für Kafka-Support – oder für Managed Kafka Services, wenn Sie ihn nicht selbst betreiben möchten. Braucht die Databricks-Seite Designarbeit, sehen Sie sich Databricks-Beratung und Databricks-Implementierung an.
Quellen
- Databricks: Verbindung zu Apache Kafka
- Databricks: Kafka-Authentifizierung
- Databricks: Avro-Streaming-Daten lesen und schreiben
- Databricks: Referenz der Spark-API-Optionen
- Databricks: Structured Streaming Checkpoints
- Databricks: Hinweise für Structured Streaming in Produktion
- Databricks: Daten in Pipelines laden
- Databricks: Was aus Delta Live Tables wurde
- Apache Spark: Structured Streaming + Kafka Integration Guide
- Confluent: Selbst betriebene Kafka-Clients mit Confluent Cloud verbinden
Häufig gestellte Fragen
Wie streame ich Kafka in Delta Lake auf Databricks?
Lesen Sie das Topic mit dem Format kafka in Structured Streaming oder mit read_kafka in einer Streaming Table und schreiben Sie dann mit einer Checkpoint-Location in eine Delta-Tabelle. Nutzen Sie den Trigger AvailableNow für inkrementelle Loads und eine Pipeline im Continuous Mode für Streams mit niedriger Latenz.
Liest Auto Loader aus Kafka?
Nein. Auto Loader erkennt inkrementell Dateien im Cloud Object Storage. Um ihn mit Kafka zu nutzen, muss zuerst ein Connector das Topic als Dateien in den Object Storage schreiben. Andernfalls lesen Sie Kafka direkt mit Structured Streaming oder read_kafka.
Bietet Databricks Exactly-once von Kafka nach Delta?
Ja, für die Verarbeitung in eine Delta-Tabelle, denn der Checkpoint erfasst die gelesenen Offsets und die committeten Batches. foreachBatch arbeitet at-least-once, daher sollten Sie diese Logik idempotent gestalten. Die Kafka-Retention kann Offsets dennoch ablaufen lassen, bevor der Stream sie liest.
Warum zeigt meine Kafka Consumer Group keinen Lag für den Databricks-Stream?
Die Kafka-Source committet keine Offsets an Kafka. Structured Streaming verfolgt sie im Checkpoint, daher sehen Consumer-Group-Tools nichts. Beobachten Sie stattdessen avgOffsetsBehindLatest und maxOffsetsBehindLatest im Fortschritt der Streaming-Query.
Wie viele Cores braucht ein Kafka-Stream auf Databricks?
Die Leseparallelität beginnt bei der Partitionsanzahl des Topics, denn Spark erstellt standardmäßig eine Partition pro Kafka-Partition. Zusätzliche Cores bleiben ungenutzt, sofern Sie nicht minPartitions oder maxRecordsPerPartition setzen, um große Partitionen aufzuteilen.
Mit einem Engineer sprechen
Brauchen Sie Unterstützung bei Kafka?
Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.
Leitfäden, Vergleiche und Studien
Mehr zum Thema Kafka
Leitfäden
4Vergleiche
9- NATS vs Kafka 2026: Core NATS, JetStream und Kafka im Vergleich
- Mosquitto vs. Kafka: MQTT-Broker oder Event Log?
- Kafka vs. Kinesis im Vergleich
- Die besten Managed-Kafka-Anbieter 2026 jenseits der Hyperscaler
- Kafka-BYOC-Optionen (Bring Your Own Cloud) im Vergleich
- Alternativen zu Confluent und Wettbewerber nach der IBM-Übernahme

