JSON Mode / Structured Output

Einfach erklärt

Wenn du ein LLM in Software integrierst, brauchst du häufig maschinenlesbare Ausgaben. JSON Mode und Structured Output reduzieren das Problem, dass LLMs standardmäßig Freitext produzieren.

Drei Stufen der Kontrolle:

1. Prompt-basiert:    "Antworte bitte als JSON"     → oft, aber nicht zuverlässig
2. JSON Mode:         response_format: "json_object" → syntaktisch valides JSON möglich
3. Structured Output: response_format: { schema }    → Schema-Einhaltung stärker kontrolliert

Praxisbeispiel

from openai import OpenAI
from pydantic import BaseModel

class ProductInfo(BaseModel):
    name: str
    price: float
    category: str
    in_stock: bool

client = OpenAI()
response = client.beta.chat.completions.parse(
    model="model-with-structured-output",
    messages=[
        {"role": "user", "content": "Extrahiere die Produktinfo aus diesem Produkttext."}
    ],
    response_format=ProductInfo,
)

product = response.choices[0].message.parsed
# ProductInfo(name='...', price=..., category='...', in_stock=...)

Technische Umsetzung

Methode	Zuverlässigkeit	Flexibilität	Anbieter
Prompt Engineering	variabel	hoch	viele Modelle
JSON Mode	hoch für Syntax, API-abhängig	mittel	unterstützende Anbieter
Structured Output	hoch für Schema, API-abhängig	geringer	unterstützende Anbieter
Constrained Decoding	hoch für Grammar, setupabhängig	hoch	Libraries und eigene Serving-Setups

Wann welche Methode?

• Einfache Key-Value-Paare → JSON Mode kann reichen
• Komplexe verschachtelte Objekte → Structured Output mit Schema ist oft robuster
• Open-Weight-Modelle → Grammar- oder constrained-decoding-basierte Ansätze prüfen
• Prototyping → Prompt-basiert kann schneller zum Starten sein