Distillation (Knowledge Distillation)

Einfach erklärt

Knowledge Distillation ist eine Modell-Komprimierungstechnik, bei der ein kleines “Schüler”-Modell lernt, das Verhalten eines großen “Lehrer”-Modells zu imitieren. Statt aus den Originaldaten zu lernen, trainiert der Schüler auf den “weichen” Ausgaben des Lehrers – den Wahrscheinlichkeitsverteilungen über alle Klassen, nicht nur dem finalen Label. Diese weichen Labels enthalten mehr Information als harte Labels und ermöglichen es dem Schüler, das Wissen des Lehrers effizienter zu übernehmen.

Knowledge Distillation überträgt das Wissen eines großen Modells in ein kleines. Das kleine Modell lernt nicht aus den Originaldaten, sondern aus den Vorhersagen des großen Modells.

Der Prozess:

Großes Modell (Lehrer)          Kleines Modell (Schüler)
GPT-5 (Frontier)          →    GPT-5-mini (kompakt)
Langsam, teuer, genau           Schnell, günstig, fast so gut

Warum Soft Labels?

Statt nur “Katze” (Hard Label) lernt der Schüler:

• Katze: 85%, Hund: 10%, Fuchs: 5% (Soft Label)

Die Soft Labels enthalten mehr Information – der Schüler lernt auch, dass Katzen und Hunde ähnlicher sind als Katzen und Autos.

Technischer Deep Dive

Distillation Loss

L = α · L_hard(y, y_student) + (1-α) · L_soft(y_teacher, y_student)

• L_hard: Standard Cross-Entropy mit echten Labels
• L_soft: KL-Divergenz zwischen Lehrer- und Schüler-Verteilungen
• α: Gewichtung zwischen Hard und Soft Loss
• Temperature T: Weichere Verteilungen für mehr Information

Distillation-Varianten

• Response Distillation: Schüler lernt die Ausgaben des Lehrers
• Feature Distillation: Schüler lernt die internen Repräsentationen
• Self-Distillation: Modell destilliert sich selbst (tiefe → flache Schichten)
• Online Distillation: Lehrer und Schüler trainieren gleichzeitig

Bekannte destillierte Modelle

Lehrer	Schüler	Kompression	Qualitätserhalt
BERT	DistilBERT	40% kleiner	97%
GPT-5	GPT-5-mini	~200x kleiner	~80-90%
Llama 4 Maverick	Llama 4 Scout	MoE-Kompression	~75-85%