Apache Kafka

Einfach erklärt

Apache Kafka ist eine verteilte Streaming-Plattform, die Datenströme zeitnah zwischen Systemen transportiert. Sie wird breit in Dateninfrastruktur, Event-Driven Architectures und Streaming-Analytics eingesetzt.

Kernkonzepte:

• Topic: Ein benannter Datenstrom (z. B. „user-clicks”, „model-predictions”)
• Producer: Schreibt Events in Topics
• Consumer: Liest Events aus Topics
• Partition: Topics werden aufgeteilt für Parallelität
• Consumer Group: Mehrere Consumer teilen sich die Last

Producer A ──▶ ┌─────────────────┐ ──▶ Consumer 1 (ML-Modell)
Producer B ──▶ │  Topic: events  │ ──▶ Consumer 2 (Dashboard)
Producer C ──▶ │  (3 Partitions) │ ──▶ Consumer 3 (Data Lake)
               └─────────────────┘

Kafka in ML-Architekturen

Use Case	Pattern
Zeitnahe Inferenz	Request → Kafka → Model Service → Kafka → Response
Feature Store	Raw Events → Kafka → Feature Computation → Store
Monitoring	Predictions → Kafka → Drift Detection → Alert
Retraining	Kafka Topics als Training-Data-Source

Alternativen

Tool	Stärke	Schwäche
Kafka	Durchsatz, Persistenz, Ökosystem	Betriebsaufwand
RabbitMQ	Routing, Job-Queues, Einfachheit	weniger Fokus auf Replay-Logs
Redis Streams	niedrige Latenz und einfache Integration	andere Persistenz- und Skalierungsprofile
Kafka-kompatible Alternativen	ähnliche APIs, oft vereinfachter Betrieb	Ökosystem und Feature-Abdeckung prüfen
Managed Streams	Betrieb ausgelagert	Anbieterbindung und Kostenmodell prüfen