API Gateway

Einfach erklärt

Ein API Gateway ist der zentrale Einstiegspunkt für alle API-Anfragen. Statt dass Clients direkt mit vielen Backend-Services kommunizieren, geht alles durch das Gateway.

Warum ist das nützlich?

Ohne Gateway:
Client → Service A (Auth, Rate Limit, Logging)
Client → Service B (Auth, Rate Limit, Logging)
Client → Service C (Auth, Rate Limit, Logging)
= Jeder Service implementiert alles selbst 😰

Mit Gateway:
Client → [API Gateway] → Service A
                      → Service B
                      → Service C
= Zentrale Auth, Rate Limit, Logging 🎉

Typische Funktionen:

• Routing: /users → User Service, /orders → Order Service
• Authentifizierung: JWT validieren, API Keys prüfen
• Rate Limiting: Max 100 Requests/Minute pro User
• Transformation: Request/Response umwandeln
• Caching: Häufige Responses cachen

Technischer Deep Dive

Architektur

Internet → [API Gateway] → [Service A]
                        → [Service B]
                        → [Service C]
                        → [LLM Service]

Gateway-Funktionen:
├── SSL Termination
├── Authentication (JWT, API Key)
├── Rate Limiting
├── Request Routing
├── Load Balancing
├── Caching
├── Logging & Monitoring
└── Request/Response Transformation

Kong Beispiel

# Kong Route Configuration
services:
  - name: llm-service
    url: http://llm-backend:8000
    routes:
      - name: llm-route
        paths:
          - /api/v1/chat
    plugins:
      - name: rate-limiting
        config:
          minute: 60
      - name: key-auth

Für LLM-Anwendungen

Funktion	Nutzen für LLM
Rate Limiting	Kosten-Kontrolle, Fair Usage
API Keys	Nutzer-Tracking, Billing
Caching	Gleiche Prompts cachen
Logging	Prompt/Response für Debugging
Fallback	Backup-Modell bei Ausfall