Epoch / Batch / Iteration

Epoch / Batch / Iteration im Überblick

Epoche, Batch und Iteration sind die drei Zeiteinheiten des Modell-Trainings. Eine Epoche bedeutet, dass das Modell den gesamten Trainingsdatensatz einmal gesehen hat. Da Datensätze oft zu groß sind, um sie auf einmal zu verarbeiten, werden sie in Batches aufgeteilt. Eine Iteration ist ein einzelner Trainingsschritt mit einem Batch. Das Verständnis dieser Begriffe ist entscheidend, um Trainings-Hyperparameter richtig einzustellen und Trainingsverläufe zu interpretieren.

Diese drei Begriffe beschreiben, wie das Training eines KI-Modells zeitlich strukturiert ist.

Rechenbeispiel:

Datensatz: 10.000 Beispiele
Batch Size: 100
Epochs: 5

-> 100 Iterationen pro Epoch (10.000 / 100)
-> 500 Iterationen insgesamt (100 × 5)
-> Jedes Beispiel wird 5 Mal gesehen

Visualisierung:

Epoch 1: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 2.5
Epoch 2: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 1.8
Epoch 3: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 1.2
...

Technisch betrachtet

Batch Size und Auswirkungen

Gradient Accumulation

Wenn die gewünschte Batch Size nicht in den GPU-Speicher passt:

• Mehrere kleine Batches verarbeiten
• Gradienten akkumulieren
• Erst nach N Schritten ein Update durchführen
• Effektive Batch Size = Micro-Batch × Accumulation Steps

Shuffling

Daten werden vor jeder Epoch zufällig gemischt, damit das Modell nicht die Reihenfolge lernt. Besonders wichtig bei sortierten oder gruppierten Datensätzen.

Learning Rate Scheduling

Die Learning Rate wird oft über Epochs hinweg angepasst:

• Warmup: Langsam starten, dann erhöhen (erste 5-10% der Iterationen)
• Decay: Gegen Ende reduzieren für Feintuning
• Cosine Annealing: Sanfte Reduktion nach Cosinus-Kurve

Code-Beispiel (PyTorch)

from torch.utils.data import DataLoader

# Datensatz mit 10.000 Beispielen
dataset = MyDataset()  # len(dataset) = 10000

# Batch Size 32 → 313 Iterationen pro Epoch (10000/32 = 312.5, aufgerundet)
loader = DataLoader(dataset, batch_size=32, shuffle=True)

num_epochs = 10
for epoch in range(num_epochs):
    for iteration, (inputs, labels) in enumerate(loader):
        # Forward + Backward + Update
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
        
        if iteration % 100 == 0:
            print(f"Epoch {epoch+1}/{num_epochs}, Iter {iteration}, Loss: {loss.item():.4f}")

Typische Werte in der Praxis