Message Queue

Message Queue im Überblick

Eine Message Queue ist eine Warteschlange für Nachrichten zwischen Services. Der Sender legt eine Nachricht ab und macht weiter. Der Empfänger holt sie ab, wenn er bereit ist.

Warum ist das nützlich?

Ohne Queue (synchron):
User → API → LLM (30 Sekunden warten) → Response
= User wartet, Server blockiert

Mit Queue (asynchron):
User → API → "Job in Queue, ID: abc123" (sofort)
Worker → Queue → LLM → Ergebnis speichern
User → "Status von abc123?" → Ergebnis
= User kann weitermachen, System skaliert besser

Technisch betrachtet

Architektur

Producer → [Message Queue] → Consumer
              ↓
         Persistenz
         (Nachrichten überleben Neustarts)

Python mit Redis Queue

from rq import Queue
from redis import Redis

redis_conn = Redis()
q = Queue(connection=redis_conn)

# Job in Queue legen
def process_llm_request(prompt):
    response = call_llm_api(prompt)
    save_result(response)
    return response

job = q.enqueue(process_llm_request, "Erkläre ML")
print(f"Job ID: {job.id}")

# Später: Status prüfen
if job.is_finished:
    result = job.result

Vergleich Message Broker

Delivery Guarantees