Epoch / Batch / Iteration

Einfach erklärt

Epoche, Batch und Iteration sind die drei Zeiteinheiten des Modell-Trainings. Eine Epoche bedeutet, dass das Modell den gesamten Trainingsdatensatz einmal gesehen hat. Da Datensätze oft zu groß sind, um sie auf einmal zu verarbeiten, werden sie in Batches aufgeteilt. Eine Iteration ist ein einzelner Trainingsschritt mit einem Batch. Das Verständnis dieser Begriffe ist entscheidend, um Trainings-Hyperparameter richtig einzustellen und Trainingsverläufe zu interpretieren.

Diese drei Begriffe beschreiben, wie das Training eines KI-Modells zeitlich strukturiert ist.

Rechenbeispiel:

Datensatz: 10.000 Beispiele
Batch Size: 100
Epochs: 5

-> 100 Iterationen pro Epoch (10.000 / 100)
-> 500 Iterationen insgesamt (100 × 5)
-> Jedes Beispiel wird 5 Mal gesehen

Visualisierung:

Epoch 1: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 2.5
Epoch 2: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 1.8
Epoch 3: [Batch 1][Batch 2][Batch 3]...[Batch 100] → Loss: 1.2
...

Technischer Deep Dive

Batch Size und Auswirkungen

Batch Size	Vorteile	Nachteile
Klein (8-32)	Wenig GPU-Speicher, Regularisierungseffekt	Instabile Gradienten, langsam
Mittel (64-256)	Guter Kompromiss	-
Groß (512+)	Stabile Gradienten, schnell auf GPUs	Viel Speicher, kann Generalisierung verschlechtern

Gradient Accumulation

Wenn die gewünschte Batch Size nicht in den GPU-Speicher passt:

• Mehrere kleine Batches verarbeiten
• Gradienten akkumulieren
• Erst nach N Schritten ein Update durchführen
• Effektive Batch Size = Micro-Batch × Accumulation Steps

Shuffling

Daten werden vor jeder Epoch zufällig gemischt, damit das Modell nicht die Reihenfolge lernt. Besonders wichtig bei sortierten oder gruppierten Datensätzen.

Learning Rate Scheduling

Die Learning Rate wird oft über Epochs hinweg angepasst:

• Warmup: Langsam starten, dann erhöhen (erste 5-10% der Iterationen)
• Decay: Gegen Ende reduzieren für Feintuning
• Cosine Annealing: Sanfte Reduktion nach Cosinus-Kurve

Code-Beispiel (PyTorch)

from torch.utils.data import DataLoader

# Datensatz mit 10.000 Beispielen
dataset = MyDataset()  # len(dataset) = 10000

# Batch Size 32 → 313 Iterationen pro Epoch (10000/32 = 312.5, aufgerundet)
loader = DataLoader(dataset, batch_size=32, shuffle=True)

num_epochs = 10
for epoch in range(num_epochs):
    for iteration, (inputs, labels) in enumerate(loader):
        # Forward + Backward + Update
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
        
        if iteration % 100 == 0:
            print(f"Epoch {epoch+1}/{num_epochs}, Iter {iteration}, Loss: {loss.item():.4f}")

Typische Werte in der Praxis

Modelltyp	Epochs	Batch Size	Begründung
CNN (ImageNet)	90-300	256-4096	Viele Epochs, große Batches
BERT Fine-Tuning	2-4	16-32	Wenige Epochs reichen
LLM Pre-Training	1-2	1M+ Tokens	Riesige Datenmenge, wenige Durchläufe
Stable Diffusion	1	2048	Einmal durch die Daten