Text-to-Video

Einfach erklärt

Text-to-Video (T2V) generiert Videos aus Textbeschreibungen. Du schreibst, was du sehen willst, und die KI erstellt das Video – Bewegung, Kamera, Beleuchtung, alles.

Beispiel-Prompt:

"Eine Drohnenaufnahme über eine neblige Berglandschaft 
bei Sonnenaufgang. Die Kamera gleitet langsam über 
einen Bergsee, in dem sich die Berge spiegeln."

→ KI generiert ein 10-Sekunden-Video genau dieser Szene.

Wichtige Anbieter und Modellfamilien:

Modellfamilie	Typische Stärken	Typische Einschränkung
Sora	Fotorealismus, filmische Szenen	Zugang, Kosten und Limits abhängig vom Produkt
Runway	Kreative Kontrolle, Editing-Workflows	Tarif- und Längenlimits
Pika	Schneller Einstieg, kurze Social-Clips	Konsistenz bei längeren Szenen
Kling	Bewegung, Action, realistische Clips	Verfügbarkeit und Produktgrenzen
Veo / Google-Modelle	Multimodale Integration, hohe Qualität	Plattformabhängigkeit

Was funktioniert gut:

• Landschaften und Natur
• Abstrakte und künstlerische Szenen
• Einfache Bewegungen
• Atmosphärische Aufnahmen

Was noch schwierig ist:

• Konsistente Charaktere über Zeit
• Realistische Physik (Wasser, Stoff)
• Text im Video
• Komplexe Interaktionen

Technischer Deep Dive

Wie funktioniert T2V?

Architektur (vereinfacht):

Text-Prompt
    │
    ▼
┌─────────────────┐
│ Text Encoder    │ (CLIP, T5)
│ → Embeddings    │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│ Diffusion Model │
│ (3D U-Net oder  │
│  Transformer)   │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│ Video Decoder   │
│ → Frames        │
└─────────────────┘

Moderner Ansatz mit Video-Transformern:

• Videos werden oft als räumlich-zeitliche Repräsentationen verarbeitet
• Transformer- und Diffusionsansätze werden kombiniert
• Training erfolgt auf großen Video- und Bild-Text-Datensätzen
• Ziel ist bessere Konsistenz über Zeit, Kamera, Objekte und Bewegung

Prompt Engineering für T2V

Struktur eines guten Prompts:

[Kamera] + [Subjekt] + [Aktion] + [Setting] + [Stil] + [Atmosphäre]

"Dolly shot of a golden retriever running through 
a wheat field at golden hour, cinematic, 
shallow depth of field, warm tones"

Kamera-Begriffe:

• Dolly, Tracking, Pan, Tilt, Zoom
• Drone shot, Aerial, POV
• Close-up, Wide shot, Medium shot
• Slow motion, Time-lapse

Stil-Begriffe:

• Cinematic, Documentary, Music video
• 35mm film, Anamorphic
• Studio lighting, Natural light
• Color graded, Desaturated

Kontroll-Mechanismen

Image-to-Video:

Eingabe: Startbild + Prompt
Ausgabe: Video, das mit dem Bild beginnt

Video-to-Video:

Eingabe: Referenzvideo + Stil-Prompt
Ausgabe: Transformiertes Video

Motion Control:

Eingabe: Prompt + Bewegungspfad
Ausgabe: Video mit kontrollierter Kamerabewegung

Character Consistency:

Eingabe: Referenzbilder eines Charakters + Prompt
Ausgabe: Video mit konsistentem Charakter

Limitationen & Workarounds

Problem	Workaround
Kurze Clips	Clips aneinanderreihen, Übergänge glätten
Inkonsistente Charaktere	Character Reference, mehrere Takes
Physik-Fehler	Mehrere Generierungen, beste wählen
Text im Video	Nachträglich in Post-Production
Spezifische Bewegungen	Motion Control, Keyframes

Workflow für Produktion

1. Konzept & Storyboard
   └── Text-Prompts für jede Szene

2. Generierung
   └── Mehrere Varianten pro Szene
   └── Beste auswählen

3. Post-Production
   └── Schnitt in Premiere/DaVinci
   └── Color Grading
   └── Audio hinzufügen
   └── VFX-Korrekturen

4. Finalisierung
   └── Export in gewünschtem Format

Kosten & Geschwindigkeit

Kosten und Generierungszeit hängen stark von Anbieter, Tarif, Auflösung, Länge, Qualitätsmodus und Warteschlange ab. Für Produktionsworkflows ist wichtiger als der Einzelpreis: Wie viele Varianten pro Szene nötig sind, wie viel Nachbearbeitung anfällt und ob Rechte, Wasserzeichen und kommerzielle Nutzung zum Tarif passen.

Ethik & Rechtliches

• Deepfakes: T2V kann für Desinformation missbraucht werden
• Copyright: Trainingsdaten-Fragen ungeklärt
• Kennzeichnung: KI-generierte Videos sollten markiert werden
• Consent: Keine echten Personen ohne Erlaubnis generieren