Dropout

Einfach erklärt

Dropout schaltet beim Training zufällig Aktivierungen aus. Das kann das Netzwerk dazu bringen, weniger fragile und besser generalisierende Muster zu lernen.

Training (Dropout aktiv):
[●] [○] [●] [○] [●]  ← zufälliger Anteil deaktiviert
 │       │       │
[●] [●] [○] [●] [○]
 │   │       │
[●] [○] [●] [●] [○]

Inferenz (kein Dropout):
[●] [●] [●] [●] [●]  ← Alle aktiv, Gewichte skaliert

Technischer Deep Dive

PyTorch Implementation

import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        self.dropout = nn.Dropout(p=dropout_rate)
        self.fc2 = nn.Linear(hidden_dim, output_dim)
    
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # Nur aktiv wenn model.train()
        x = self.fc2(x)
        return x

# Training
model.train()  # Dropout aktiv

# Inferenz
model.eval()   # Dropout aus

Dropout-Varianten

Variante	Beschreibung
Standard	Neuronen zufällig aus
Spatial	Ganze Feature Maps aus (CNNs)
DropConnect	Gewichte statt Neuronen
DropBlock	Zusammenhängende Regionen