Experiment Tracking

Einfach erklärt

Experiment Tracking ist die systematische Dokumentation aller ML-Experimente. Statt “ich glaube, letzte Woche hat Learning Rate 0.001 besser funktioniert” hast du harte Daten.

Was wird getrackt?

Experiment: fraud-detection-v3
├── Hyperparameter: lr=0.001, batch_size=32, epochs=50
├── Metriken: accuracy=0.94, f1=0.87, loss=0.23
├── Daten: dataset-v2.3 (sha256: abc123...)
├── Code: commit 7f3a2b1
├── Artefakte: model.pkl, confusion_matrix.png
└── Meta: GPU=A100, runtime=2h34m, user=alice

Warum ist das wichtig?

• “Welche Hyperparameter hatten die beste Performance?”
• “Warum ist das neue Modell schlechter?”
• “Kann ich das Experiment von vor 3 Monaten reproduzieren?”

Technischer Deep Dive

MLflow Beispiel

import mlflow

mlflow.set_experiment("fraud-detection")

with mlflow.start_run():
    # Hyperparameter loggen
    mlflow.log_param("learning_rate", 0.001)
    mlflow.log_param("batch_size", 32)
    
    # Training...
    model = train_model(...)
    
    # Metriken loggen
    mlflow.log_metric("accuracy", 0.94)
    mlflow.log_metric("f1_score", 0.87)
    
    # Artefakte speichern
    mlflow.log_artifact("confusion_matrix.png")
    mlflow.sklearn.log_model(model, "model")

Weights & Biases Beispiel

import wandb

wandb.init(project="fraud-detection")
wandb.config = {"learning_rate": 0.001, "batch_size": 32}

for epoch in range(epochs):
    # Training...
    wandb.log({"loss": loss, "accuracy": acc})

wandb.finish()

Best Practices

Practice	Beschreibung
Alles tracken	Auch fehlgeschlagene Experimente
Automatisierung	Tracking in Training-Pipeline integrieren
Naming Convention	Konsistente Namen für Experimente
Tags nutzen	Kategorisierung für spätere Suche
Artefakte speichern	Modelle, Plots, Configs