Pruning

Einfach erklärt

Pruning ist eine Modell-Komprimierungstechnik, die unwichtige oder redundante Parameter aus einem trainierten neuronalen Netz entfernt. Die Intuition: Nicht alle Parameter eines Modells tragen gleich viel zur Vorhersagequalität bei. Gewichte nahe null können oft entfernt werden, ohne die Accuracy wesentlich zu beeinträchtigen. Das Ergebnis ist ein kleineres, schnelleres Modell – ideal für Edge-Deployment auf Smartphones oder IoT-Geräten, wo Speicher und Rechenleistung begrenzt sind.

Pruning entfernt unwichtige Teile eines neuronalen Netzes. Viele Gewichte in trainierten Modellen sind nahe Null oder redundant – sie können entfernt werden, ohne die Qualität wesentlich zu beeinträchtigen.

Das Ergebnis:

Vorher: 100M Parameter, 400MB, 50ms Inferenz
Nachher: 20M Parameter, 80MB, 15ms Inferenz
Qualität: 99.5% der ursprünglichen Accuracy

Warum funktioniert das?

Neuronale Netze sind oft überparametrisiert – sie haben mehr Kapazität als nötig. Pruning findet und entfernt die redundanten Teile.

Technischer Deep Dive

Pruning-Typen

Typ	Was wird entfernt	Beschleunigung
Unstrukturiert	Einzelne Gewichte	Schwer (braucht Sparse-Hardware)
Strukturiert	Ganze Neuronen/Filter	Einfach (Standard-Hardware)
Block-Sparse	Blöcke von Gewichten	Mittel

Magnitude Pruning (einfachste Methode)

import torch.nn.utils.prune as prune

# 50% der kleinsten Gewichte entfernen
prune.l1_unstructured(model.layer, name='weight', amount=0.5)

# Pruning permanent machen
prune.remove(model.layer, 'weight')

Iteratives Pruning

1. Trainiere Modell
2. Prune 20% der Gewichte
3. Fine-Tune
4. Wiederhole bis Ziel-Sparsity erreicht

Pruning + Quantisierung

Original: 100M × 32bit = 400MB
Pruning (80%): 20M × 32bit = 80MB
+ Quantisierung (INT8): 20M × 8bit = 20MB
= 95% Reduktion