Knowledge Distillation

Einfach erklärt

Knowledge Distillation überträgt Wissen von einem großen Modell (Teacher) auf ein kleines Modell (Student). Der Student lernt nicht nur die richtigen Antworten, sondern auch das “Denken” des Teachers.

Der Trick: Soft Labels

Hard Label: "Das ist eine Katze" (1 oder 0)

Soft Label vom Teacher:
- Katze: 0.85
- Hund: 0.10
- Löwe: 0.04
- Auto: 0.01

-> Student lernt: "Katzen sind Hunden ähnlicher als Autos"

Das Ergebnis:

Teacher: BERT-Large (340M Parameter)
Student: DistilBERT (66M Parameter)
= 40% kleiner, 60% schneller, 97% der Qualität

Technischer Deep Dive

Loss Function

# Kombinierter Loss
loss = α * hard_loss + (1-α) * soft_loss

# Hard Loss: Student vs. echte Labels
hard_loss = CrossEntropy(student_output, true_labels)

# Soft Loss: Student vs. Teacher
soft_loss = KL_Divergence(
    softmax(student_output / T),
    softmax(teacher_output / T)
)
# T = Temperatur (höher = weichere Verteilung)

Distillation-Prozess

1. Trainiere großes Teacher-Modell (oder nutze existierendes)
2. Generiere Soft Labels für Trainingsdaten
3. Trainiere Student auf Kombination aus Hard + Soft Labels
4. (Optional) Fine-Tune Student auf spezifische Aufgabe

Varianten

Variante	Beschreibung
Response Distillation	Student lernt Output-Verteilung
Feature Distillation	Student lernt interne Repräsentationen
Self-Distillation	Modell destilliert sich selbst
Online Distillation	Teacher und Student trainieren gleichzeitig

Für LLMs

# Pseudo-Code für LLM Distillation
for prompt in training_data:
    teacher_response = teacher.generate(prompt)
    
    # Student lernt, Teacher-Responses zu imitieren
    student_loss = student.train(prompt, teacher_response)