Weights & Biases (W&B)

Weights & Biases im Überblick

Weights & Biases (kurz W&B oder wandb) ist die meistgenutzte MLOps-Plattform in der KI-Forschung. OpenAI, Hugging Face, NVIDIA und hunderte andere führende KI-Organisationen nutzen W&B, um ihre Experimente zu verfolgen und Teams zu koordinieren.

Der Einstieg ist bewusst einfach gehalten: Zwei Zeilen Code reichen, um ein Experiment vollständig zu protokollieren. W&B übernimmt dann automatisch das Logging von Metriken, Systemressourcen (GPU-Auslastung, RAM) und Hyperparametern – und visualisiert alles in Echtzeit in einem interaktiven Dashboard.

import wandb

# Experiment initialisieren
wandb.init(project="llm-finetuning", config={
    "learning_rate": 2e-5,
    "epochs": 3,
    "model": "llama-3-8b"
})

# Im Training-Loop
for epoch in range(config.epochs):
    loss = train_one_epoch(model, dataloader)
    wandb.log({"loss": loss, "epoch": epoch})

# Modell speichern
wandb.save("model.pt")
wandb.finish()

Technisch betrachtet

Kernfunktionen

Experiment-Tracking: Jeder wandb.log()-Aufruf sendet Metriken an die W&B-Server. Die Kurven werden live aktualisiert – man kann den Training-Fortschritt von überall verfolgen.

Sweeps (Hyperparameter-Tuning): W&B Sweeps automatisieren die Hyperparameter-Suche mit verschiedenen Strategien:

# sweep.yaml
method: bayes  # oder grid, random
metric:
  name: val_loss
  goal: minimize
parameters:
  learning_rate:
    distribution: log_uniform_values
    min: 1e-5
    max: 1e-3
  batch_size:
    values: [16, 32, 64]

Artifacts: Versionierte Speicherung von Datensätzen, Modellen und Evaluations-Ergebnissen mit vollständiger Lineage.

W&B vs. MLflow im Vergleich