Apache Kafka

Einfach erklärt

Apache Kafka ist eine verteilte Streaming-Plattform, die Daten in Echtzeit zwischen Systemen transportiert. Entwickelt bei LinkedIn (2011), heute eines der meistgenutzten Open-Source-Projekte für Dateninfrastruktur.

Kernkonzepte:

• Topic: Ein benannter Datenstrom (z. B. „user-clicks”, „model-predictions”)
• Producer: Schreibt Events in Topics
• Consumer: Liest Events aus Topics
• Partition: Topics werden aufgeteilt für Parallelität
• Consumer Group: Mehrere Consumer teilen sich die Last

Producer A ──▶ ┌─────────────────┐ ──▶ Consumer 1 (ML-Modell)
Producer B ──▶ │  Topic: events  │ ──▶ Consumer 2 (Dashboard)
Producer C ──▶ │  (3 Partitions) │ ──▶ Consumer 3 (Data Lake)
               └─────────────────┘

Kafka in ML-Architekturen

Use Case	Pattern
Echtzeit-Inferenz	Request → Kafka → Model Service → Kafka → Response
Feature Store	Raw Events → Kafka → Feature Computation → Store
Monitoring	Predictions → Kafka → Drift Detection → Alert
Retraining	Kafka Topics als Training-Data-Source

Alternativen

Tool	Stärke	Schwäche
Kafka	Durchsatz, Persistenz	Komplexität
RabbitMQ	Einfachheit, Routing	Kein Replay
Redis Streams	Latenz	Weniger persistent
Redpanda	Kafka-kompatibel, einfacher	Jüngeres Ökosystem
AWS Kinesis	Managed, AWS-Integration	Vendor Lock-in