Load Balancing

Einfach erklärt

Ein einzelner Server kann nur eine begrenzte Anzahl von Anfragen gleichzeitig verarbeiten. Wenn mehr Nutzer kommen, wird er langsamer oder bricht zusammen. Die Lösung: mehrere Server betreiben und die Last gleichmäßig verteilen.

Der Load Balancer sitzt vor den Servern und entscheidet, welcher Server die nächste Anfrage bekommt. Fällt ein Server aus, bemerkt der Load Balancer das über Health Checks und schickt keinen Traffic mehr dorthin.

Gängige Algorithmen:

Algorithmus	Funktionsweise	Geeignet für
Round Robin	Reihum, gleichmäßig	Gleich starke Server
Least Connections	Server mit wenigsten aktiven Verbindungen	Unterschiedliche Request-Dauer
IP Hash	Gleicher Nutzer → gleicher Server	Zustandsbehaftete Apps
Weighted	Stärkere Server bekommen mehr Traffic	Heterogene Server

Technischer Deep Dive

NGINX-Konfiguration

upstream llm_backends {
    least_conn;  # Algorithmus: wenigste aktive Verbindungen
    server gpu-server-1:8080 weight=3;
    server gpu-server-2:8080 weight=3;
    server gpu-server-3:8080 weight=1;  # Schwächerer Server
}

server {
    location /api/generate {
        proxy_pass http://llm_backends;
        proxy_connect_timeout 10s;
        proxy_read_timeout 120s;  # LLM-Antworten können lang dauern
    }
}

Health Check

upstream llm_backends {
    server gpu-server-1:8080;
    server gpu-server-2:8080;

    # Aktiver Health Check (NGINX Plus)
    health_check interval=5s fails=3 passes=2;
}