Diffusionsmodell

Diffusionsmodell im Überblick

Diffusionsmodelle sind die Technologie hinter Stable Diffusion, DALL-E 3 und Midjourney. Sie haben 2022 GANs als Standard für Bildgenerierung abgelöst, weil sie stabiler trainierbar sind, vielfältigere Ausgaben produzieren und sich besser durch Text-Prompts steuern lassen. Das Grundprinzip: Das Modell lernt, schrittweise Rauschen aus einem Bild zu entfernen – und kann damit aus reinem Rauschen neue Bilder generieren. Der Vorteil gegenüber GANs: Training ist stabiler, die Ausgaben sind vielfältiger und die Qualität ist konsistenter. Der Nachteil: Bildgenerierung erfordert viele Denoising-Schritte und ist langsamer. Techniken wie DDIM und Consistency Models reduzieren die benötigten Schritte erheblich.

Diffusionsmodelle erzeugen Bilder in einem zweistufigen Prozess:

1. Forward Process (Training): Einem echten Bild wird schrittweise Rauschen hinzugefügt, bis nur noch zufälliges Rauschen übrig ist.

2. Reverse Process (Generierung): Das Modell lernt, diesen Prozess umzukehren – es entfernt Schritt für Schritt das Rauschen und erzeugt so ein neues Bild.

Rauschen ──→ Schritt 1 ──→ Schritt 2 ──→ ... ──→ Fertiges Bild
(zufällig)   (grobe Form)  (Details)              (hochwertig)

Text-Steuerung: Durch Conditioning mit Text-Embeddings (z.B. von CLIP) kann das Modell gesteuert werden: “Ein Astronaut reitet auf einem Pferd” → das Modell erzeugt genau dieses Bild.

Technisch betrachtet

Mathematische Grundlage

Forward Process: q(x_t | x_(t-1)) = N(x_t; √(1-β_t) · x_(t-1), β_t · I)

Schrittweise wird Gausssches Rauschen hinzugefügt mit Schedule β_t.

Reverse Process: Das Modell (U-Net oder Transformer) lernt p_θ(x_(t-1) | x_t) – die Umkehrung des Rauschprozesses.

Architektur

• U-Net: Encoder-Decoder mit Skip Connections, Standard in Stable Diffusion 1.x/2.x
• DiT (Diffusion Transformer): Transformer-basiert, verwendet in DALL-E 3 und SD3
• Cross-Attention: Verbindet Text-Embeddings mit dem Bild-Denoising-Prozess

Optimierungen

• Latent Diffusion: Arbeitet im komprimierten Latent Space statt im Pixel-Space (100x effizienter)
• Classifier-Free Guidance: Steuert, wie stark der Text die Generierung beeinflusst
• DDIM/DPM-Solver: Schnellere Sampling-Methoden mit weniger Schritten
• LoRA: Effizientes Fine-Tuning für eigene Stile und Konzepte