Prompt Engineering
Die Kunst und Technik, Anweisungen für KI-Sprachmodelle so zu formulieren, dass sie optimale und zielgerichtete Ergebnisse liefern.
Eine Prompting-Technik, bei der das Modell aufgefordert wird, Schritt für Schritt zu denken – verbessert die Reasoning-Fähigkeiten von LLMs dramatisch.
Ohne Chain-of-Thought versucht ein LLM, direkt die Antwort zu geben. Mit CoT schreibt es seine Gedanken auf – und kommt dadurch zu besseren Ergebnissen.
Ohne CoT:
Frage: "Wenn 3 Hemden 5 Stunden zum Trocknen brauchen,
wie lange brauchen 9 Hemden?"
Antwort: "15 Stunden" ← Falsch!
Mit CoT:
Frage: "... Denke Schritt für Schritt."
Antwort: "Die Hemden trocknen parallel, nicht nacheinander.
3 Hemden brauchen 5 Stunden.
9 Hemden brauchen auch 5 Stunden (gleiche Wäscheleine).
Antwort: 5 Stunden" ← Richtig!
Zero-Shot CoT:
Frage: Ein Zug fährt um 9:00 los und braucht 2,5 Stunden.
Wann kommt er an?
Denke Schritt für Schritt.
Few-Shot CoT:
Beispiel: 15 + 27 = ?
Schritt 1: 15 + 20 = 35
Schritt 2: 35 + 7 = 42
Antwort: 42
Jetzt du: 23 + 48 = ?
OpenAIs o1-Modelle haben Chain-of-Thought “eingebaut”:
| Aspekt | Ohne CoT | Mit CoT |
|---|---|---|
| Tokens | Weniger | 2-5x mehr |
| Latenz | Schneller | Langsamer |
| Mathe-Aufgaben | ~50% korrekt | ~90% korrekt |
| Einfache Fragen | Gut | Unnötiger Overhead |
Chain-of-Thought ist wie 'Zeig deinen Rechenweg' in der Mathe-Klausur: Wenn das Modell seine Gedanken aufschreibt, macht es weniger Fehler – weil es sich selbst durch das Problem führt.
Modell wird aufgefordert, Zwischenschritte explizit auszuformulieren
Verbessert Mathe, Logik und komplexes Reasoning erheblich
Zero-Shot CoT: Einfach 'Denke Schritt für Schritt' anhängen
Mathematische Probleme
Textaufgaben Schritt für Schritt lösen statt direkt die Antwort zu raten
Logisches Reasoning
Komplexe Schlussfolgerungen durch explizite Zwischenschritte
Code-Debugging
Fehler systematisch eingrenzen durch schrittweise Analyse
Entscheidungsfindung
Pro/Contra abwägen und Schlussfolgerung ableiten
LLMs generieren Token für Token. Wenn sie Zwischenschritte aufschreiben, stehen diese als Kontext für die nächsten Tokens zur Verfügung. Das Modell kann auf seine eigenen Zwischenergebnisse zugreifen.
Ja, weil mehr Tokens generiert werden. Aber die Qualitätsverbesserung bei komplexen Aufgaben ist den Mehraufwand fast immer wert.
'Let's think step by step' ist der Klassiker. Alternativen: 'Erkläre deinen Denkprozess', 'Zeige deine Rechenschritte', oder 'Analysiere das Problem systematisch'. Bei Few-Shot: Beispiele MIT Zwischenschritten zeigen.
Ja, das Modell kann überzeugend klingende, aber falsche Zwischenschritte generieren. CoT verbessert die Wahrscheinlichkeit korrekter Antworten, garantiert sie aber nicht. Bei kritischen Anwendungen: Ergebnisse immer verifizieren.