Dropout

Einfach erklärt

Dropout schaltet beim Training zufällig Neuronen aus. Das zwingt das Netzwerk, robuster zu lernen.

Training (Dropout = 0.5):
[●] [○] [●] [○] [●]  ← 50% zufällig aus
 │       │       │
[●] [●] [○] [●] [○]
 │   │       │
[●] [○] [●] [●] [○]

Inferenz (kein Dropout):
[●] [●] [●] [●] [●]  ← Alle aktiv, Gewichte skaliert

Technischer Deep Dive

PyTorch Implementation

import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 256)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(256, 10)
    
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # Nur aktiv wenn model.train()
        x = self.fc2(x)
        return x

# Training
model.train()  # Dropout aktiv

# Inferenz
model.eval()   # Dropout aus

Dropout-Varianten

Variante	Beschreibung
Standard	Neuronen zufällig aus
Spatial	Ganze Feature Maps aus (CNNs)
DropConnect	Gewichte statt Neuronen
DropBlock	Zusammenhängende Regionen