ReLU und GELU

ReLU und GELU im Überblick

ReLU und GELU sind Aktivierungsfunktionen – sie entscheiden, wie stark ein Neuron “feuert”.

ReLU: f(x) = max(0, x)
      │
    y │      /
      │     /
      │    /
    0 │───●
      │
      └─────────────
          0    x

GELU: f(x) = x × Φ(x)  (Φ = Normalverteilung CDF)
      │
    y │       _/
      │     _/
      │   _/
    0 │__/
      │
      └─────────────
          0    x

Technisch betrachtet

Implementation

import numpy as np

def relu(x):
    return np.maximum(0, x)

def gelu(x):
    # Approximation (schneller)
    return 0.5 * x * (1 + np.tanh(np.sqrt(2/np.pi) * (x + 0.044715 * x**3)))

# PyTorch
import torch.nn.functional as F
F.relu(x)
F.gelu(x)

Vergleich