BlogKafka

Kafka nach Databricks: Drei Wege, in Delta Lake zu streamen

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 6 Min. Lesezeit

Kafka nach Databricks: Drei Wege, in Delta Lake zu streamen
Auf dieser Seite

Lesen Sie Kafka auf Databricks mit dem Format kafka in Structured Streaming oder mit read_kafka in einer Lakeflow-Pipeline und schreiben Sie mit einem Checkpoint in eine Delta-Tabelle. Nutzen Sie eine Streaming Table, wenn Databricks Orchestrierung, Checkpoints und Recovery übernehmen soll. Nutzen Sie einen Structured-Streaming-Job, wenn Sie eigenen Code brauchen. Auto Loader liest Dateien, keine Topics – er passt also nur, wenn bereits etwas anderes das Topic im Object Storage ablegt.

Ein Structured-Streaming-Job, der neue Datensätze lädt und dann stoppt:

(spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "<bootstrap-server>:9092")
  .option("subscribe", "<topic-name>")
  .option("databricks.serviceCredential", "<service-credential-name>")
  .load()
  .selectExpr("CAST(key AS STRING) AS key", "CAST(value AS STRING) AS value", "topic", "partition", "offset", "timestamp")
  .writeStream
  .option("checkpointLocation", "/path/to/checkpoint")
  .trigger(availableNow=True)
  .toTable("catalog.schema.events_raw"))

Dieselbe Ingestion als Streaming Table:

CREATE OR REFRESH STREAMING TABLE catalog.schema.events_raw AS
SELECT * FROM STREAM read_kafka(
  bootstrapServers => '<bootstrap-server>:9092',
  subscribe => '<topic-name>',
  serviceCredential => '<service-credential-name>'
);

Structured Streaming Kafka-Source: Die entscheidenden Optionen

  • kafka.bootstrap.servers plus eine der Optionen subscribe, subscribePattern oder assign ist das Minimum.
  • startingOffsets ist für Streams standardmäßig latest und gilt nur für eine neue Query. Eine fortgesetzte Query liest immer ab ihrem Checkpoint.
  • failOnDataLoss ist standardmäßig true, die Query schlägt also fehl, wenn Offsets aus der Kafka-Retention abgelaufen sind. Setzen Sie den Wert nur dann auf false, wenn das Überspringen von Daten akzeptabel ist.
  • maxOffsetsPerTrigger begrenzt jeden Micro-Batch, proportional über die Partitionen verteilt. minOffsetsPerTrigger mit maxTriggerDelay (standardmäßig 15 Minuten) wartet, bis sich ein Batch lohnt.

Key und Value kommen binär an, daher müssen Sie sie casten oder mit from_avro dekodieren. Die Kafka-Source committet keine Offsets zurück an Kafka, ein auf Consumer Groups basierendes Lag-Dashboard zeigt für diese Streams also nichts an. Lesen Sie stattdessen avgOffsetsBehindLatest und maxOffsetsBehindLatest aus dem Query-Fortschritt.

Streaming Tables, Auto Loader oder ein Job?

Databricks empfiehlt Streaming Tables für die meisten Ingestion-Szenarien und bezeichnet Streaming Tables mit Continuous Execution und Enhanced Autoscaling als effizientesten Weg für das Laden mit niedriger Latenz aus Message Buses. Sie sind Teil von Lakeflow Spark Declarative Pipelines, dem Produkt, das früher Delta Live Tables hieß.

  • Streaming Table mit read_kafka, wenn es um Ingestion und leichte Transformationen geht.
  • Structured-Streaming-Job, wenn Sie eigenen Code, foreachBatch oder mehrere Sinks brauchen.
  • Auto Loader, wenn ein Connector das Topic bereits als Dateien in den Object Storage schreibt. Er erkennt Dateien inkrementell und kann kein Topic abonnieren.

Exactly-once-Verarbeitung und Checkpointing

Der Checkpoint erfasst, welche Offsets jeder Micro-Batch gelesen hat und welche Batches in den Sink committet wurden – genau das ermöglicht Exactly-once-Verarbeitung in eine Delta-Tabelle. Vier Regeln verhindern die meisten Ausfälle:

  • Eine Checkpoint-Location pro Query. Teilen Sie sie niemals.
  • Eine Änderung der abonnierten Topics erfordert einen neuen Checkpoint. Eine Änderung von Rate Limits oder Trigger-Intervall nicht.
  • foreachBatch liefert at-least-once, gestalten Sie die Batch-Logik daher idempotent.
  • Konfigurieren Sie den Job so, dass er bei Fehlern neu startet. Databricks empfiehlt den Continuous Trigger auf Jobs Compute, der einen fehlgeschlagenen Lauf mit exponentiellem Backoff neu startet.

Exactly-once innerhalb von Spark ändert nichts an der Kafka-Retention. Laufen Offsets ab, bevor der Stream aufholt, schlägt die Query fehl oder überspringt Daten. Die Kafka-Seite behandeln wir in Kafka Exactly-once-Semantik.

Schema Registry und from_avro

Für Avro nimmt from_avro ein Registry-Subject und eine Adresse entgegen, sodass niemand das Schema manuell pflegen muss:

from_avro(
  data = col("value"),
  jsonFormatSchema = None,
  options = schema_registry_options,
  subject = "t-value",
  schemaRegistryAddress = "https://<registry-endpoint>"
)

Für eine Confluent-Registry übergeben Sie die Credentials in der Options-Map: confluent.schema.registry.basic.auth.credentials.source auf USER_INFO und confluent.schema.registry.basic.auth.user.info auf key:secret. Standardmäßig schlägt from_avro bei einer inkompatiblen Schemaänderung fehl (FAILFAST). Setzen Sie avroSchemaEvolutionMode ab Databricks Runtime 14.2 auf restart, dann wirft die Query beim Erkennen der Änderung einen Fehler, sodass ein Job mit Restart-on-Failure sie gezielt statt zufällig übernimmt.

Consumer-Parallelität passend zu den Partitionen dimensionieren

Spark erstellt eine Partition pro Kafka-Topic-Partition, sofern Sie nicht minPartitions setzen. Die Leseparallelität beginnt also bei Ihrer Partitionsanzahl, darüber hinausgehende Cores bleiben ungenutzt. minPartitions und maxRecordsPerPartition teilen große Kafka-Partitionen auf mehr Tasks auf, was bei Skew und beim Aufholen hilft. minPartitions initialisiert die Kafka-Consumer jedoch bei jedem Trigger neu und kann die Performance über SSL beeinträchtigen. Eine Hot Partition lässt trotzdem einen Task langsamer laufen als die übrigen – korrigieren Sie also den Key, bevor Sie Cores hinzufügen.

Dimensionieren Sie den Cluster nach der Partitionsanzahl in Spitzenzeiten, mit Reserven. Die Abwägungen finden Sie unter Kafka-Partitionsstrategie und Kafka Consumer Lag.

Authentifizierung: MSK, Confluent Cloud und SASL

  • Amazon MSK mit IAM. Erstellen Sie ab Databricks Runtime 16.1 ein Unity Catalog Service Credential und setzen Sie databricks.serviceCredential. Databricks empfiehlt dies für Shared Cluster und Serverless Compute. Kombinieren Sie es nicht mit kafka.sasl.*- oder kafka.security.protocol-Optionen. Instance Profiles verwenden stattdessen AWS_MSK_IAM mit dem shaded IAM-Login-Modul.
  • SASL/PLAIN oder SCRAM. Setzen Sie kafka.security.protocol auf SASL_SSL und verwenden Sie die shaded Klassennamen von Databricks, etwa kafkashaded.org.apache.kafka.common.security.scram.ScramLoginModule. Unshaded Namen schlagen mit RESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCED fehl.
  • Confluent Cloud. API-Key und Secret werden als SASL/PLAIN-Benutzername und -Passwort übergeben. Speichern Sie sie in einem Secret Scope, nicht im Notebook-Code.

Wenn Verbindungen in einen Timeout laufen, prüfen Sie zuerst das Netzwerk, dann die Credentials. Die Security Group des Brokers muss das Databricks-Compute zulassen, für IAM typischerweise auf Port 9098, und Peering oder PrivateLink muss eingerichtet sein.

Kosten im Griff behalten

  • Nutzen Sie Trigger.AvailableNow für inkrementelle Loads. Databricks empfiehlt ihn für inkrementelles Batch-Loading aus Kafka, und Serverless Notebooks und Jobs unterstützen nur ihn und Trigger.Once. Für kontinuierliches Streaming auf Serverless verwenden Sie eine Pipeline im Continuous Mode.
  • Betreiben Sie Streams auf Jobs Compute, nicht auf All-Purpose Compute, und aktivieren Sie kein Autoscaling für Structured-Streaming-Jobs.
  • Ein processingTime-Trigger von 0 liefert die niedrigste Latenz, erhöht aber die API-Kosten für Cloud Storage. Klären Sie, ob der Consumer Sekunden oder Minuten braucht.
  • Nutzen Sie minOffsetsPerTrigger, um eine Flut winziger Micro-Batches zu vermeiden, und Liquid Clustering (CLUSTER BY), um die Abfrageperformance zu halten, während die Tabelle wächst.

Wo die Kafka-Seite zählt

Mehrere der oben genannten Fehlerbilder liegen auf der Kafka-Seite: abgelaufene Offsets, eine Hot Partition, eine geänderte Authentifizierung. Liegt das Problem beim Cluster, ist das ein Fall für Kafka-Support – oder für Managed Kafka Services, wenn Sie ihn nicht selbst betreiben möchten. Braucht die Databricks-Seite Designarbeit, sehen Sie sich Databricks-Beratung und Databricks-Implementierung an.

Quellen

Häufig gestellte Fragen

Wie streame ich Kafka in Delta Lake auf Databricks?

Lesen Sie das Topic mit dem Format kafka in Structured Streaming oder mit read_kafka in einer Streaming Table und schreiben Sie dann mit einer Checkpoint-Location in eine Delta-Tabelle. Nutzen Sie den Trigger AvailableNow für inkrementelle Loads und eine Pipeline im Continuous Mode für Streams mit niedriger Latenz.

Liest Auto Loader aus Kafka?

Nein. Auto Loader erkennt inkrementell Dateien im Cloud Object Storage. Um ihn mit Kafka zu nutzen, muss zuerst ein Connector das Topic als Dateien in den Object Storage schreiben. Andernfalls lesen Sie Kafka direkt mit Structured Streaming oder read_kafka.

Bietet Databricks Exactly-once von Kafka nach Delta?

Ja, für die Verarbeitung in eine Delta-Tabelle, denn der Checkpoint erfasst die gelesenen Offsets und die committeten Batches. foreachBatch arbeitet at-least-once, daher sollten Sie diese Logik idempotent gestalten. Die Kafka-Retention kann Offsets dennoch ablaufen lassen, bevor der Stream sie liest.

Warum zeigt meine Kafka Consumer Group keinen Lag für den Databricks-Stream?

Die Kafka-Source committet keine Offsets an Kafka. Structured Streaming verfolgt sie im Checkpoint, daher sehen Consumer-Group-Tools nichts. Beobachten Sie stattdessen avgOffsetsBehindLatest und maxOffsetsBehindLatest im Fortschritt der Streaming-Query.

Wie viele Cores braucht ein Kafka-Stream auf Databricks?

Die Leseparallelität beginnt bei der Partitionsanzahl des Topics, denn Spark erstellt standardmäßig eine Partition pro Kafka-Partition. Zusätzliche Cores bleiben ungenutzt, sofern Sie nicht minPartitions oder maxRecordsPerPartition setzen, um große Partitionen aufzuteilen.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Mit einem Engineer sprechen

Brauchen Sie Unterstützung bei Kafka?

Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben