Multimodale KI

Einfach erklärt

Multimodale KI kann mehrere Arten von Informationen gleichzeitig verarbeiten – nicht nur Text, sondern auch Bilder, Audio und Video.

Evolution der Modelle:

2020: GPT-3          → Nur Text
2023: GPT-4          → Text + Bild (Eingabe)
2024: GPT-4o         → Text + Bild + Audio (Ein- und Ausgabe)
2025: Gemini 2.0     → Text + Bild + Audio + Video nativ

Modalitäten und Aufgaben

Eingabe	Ausgabe	Aufgabe
Bild →	Text	Bildbeschreibung, OCR, Visual QA
Text →	Bild	Bildgenerierung (DALL-E, Stable Diffusion)
Audio →	Text	Transkription (Whisper)
Text →	Audio	Text-to-Speech, Sprachsynthese
Video →	Text	Videozusammenfassung
Bild + Text →	Text	Dokumentenanalyse, Chart-Interpretation

Architektur-Ansätze

1. Encoder-Fusion (GPT-4V): Separate Encoder für jede Modalität, vereint in einem gemeinsamen Embedding-Space.

2. Nativ multimodal (Gemini): Von Grund auf auf allen Modalitäten trainiert – kein nachträgliches Zusammenfügen.

3. Adapter-basiert (LLaVA): Vision Encoder + Projektion + bestehendes LLM – kostengünstiger, aber weniger tief integriert.

Praxisbeispiele

# GPT-4o: Bild analysieren
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Was zeigt dieses Diagramm?"},
            {"type": "image_url", "image_url": {"url": "https://example.com/chart.png"}}
        ]
    }]
)

Herausforderungen

• Halluzinationen: Modelle „sehen” manchmal Details, die nicht im Bild sind
• Grounding: Text-Ausgabe muss sich auf das tatsächliche Bild beziehen
• Bias: Vorurteile können sich über Modalitäten verstärken
• Kosten: Multimodale Verarbeitung ist deutlich teurer als reiner Text