JSON Mode / Structured Output

JSON Mode / Structured Output im Überblick

Wenn du ein LLM in Software integrierst, brauchst du häufig maschinenlesbare Ausgaben. JSON Mode und Structured Output reduzieren das Problem, dass LLMs standardmäßig Freitext produzieren.

Drei Stufen der Kontrolle:

1. Prompt-basiert:    "Antworte bitte als JSON"     → oft, aber nicht zuverlässig
2. JSON Mode:         response_format: "json_object" → syntaktisch valides JSON möglich
3. Structured Output: response_format: { schema }    → Schema-Einhaltung stärker kontrolliert

Praxisbeispiel

from openai import OpenAI
from pydantic import BaseModel

class ProductInfo(BaseModel):
    name: str
    price: float
    category: str
    in_stock: bool

client = OpenAI()
response = client.beta.chat.completions.parse(
    model="model-with-structured-output",
    messages=[
        {"role": "user", "content": "Extrahiere die Produktinfo aus diesem Produkttext."}
    ],
    response_format=ProductInfo,
)

product = response.choices[0].message.parsed
# ProductInfo(name='...', price=..., category='...', in_stock=...)

Technische Umsetzung

Wann welche Methode?

• Einfache Key-Value-Paare → JSON Mode kann reichen
• Komplexe verschachtelte Objekte → Structured Output mit Schema ist oft robuster
• Open-Weight-Modelle → Grammar- oder constrained-decoding-basierte Ansätze prüfen
• Prototyping → Prompt-basiert kann schneller zum Starten sein