LLM Grundlagen
Large Language Model (LLM)
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.
Einfach erklärt
Prompt Engineering ist die Fähigkeit, Anweisungen an KI-Modelle so zu formulieren, dass sie genau das liefern, was du brauchst. Der “Prompt” ist dabei alles, was du dem Modell als Eingabe gibst. Prompt Engineering ist keine Magie, sondern systematisches Experimentieren: Kleine Änderungen in der Formulierung können die Qualität der Ausgabe dramatisch verbessern oder verschlechtern. Mit zunehmend besseren Modellen wird Prompt Engineering einfacher, aber das Verständnis, wie Modelle auf Prompts reagieren, bleibt eine Kernkompetenz. Techniken wie Chain-of-Thought (“Denke Schritt für Schritt”), Few-Shot-Beispiele und strukturierte Output-Formate sind empirisch validiert und verbessern die Modell-Performance messbar. Für Produktionssysteme ist Prompt Engineering oft der schnellste Weg, die Qualität zu verbessern – ohne Training oder Fine-Tuning.
Die Grundprinzipien:
- Sei spezifisch: “Schreibe einen 200-Wörter-Blogartikel über RAG für Entwickler” statt “Schreibe etwas über RAG”
- Gib Kontext: Erkläre die Situation, Zielgruppe und den Zweck
- Definiere das Format: Tabelle, Liste, Code, Fließtext?
- Setze Grenzen: Was soll das Modell NICHT tun?
Die wichtigsten Techniken:
| Technik | Beschreibung | Wann nutzen? |
|---|---|---|
| Zero-Shot | Direkte Anweisung ohne Beispiele | Einfache, klare Aufgaben |
| Few-Shot | Anweisung mit 2-5 Beispielen | Wenn ein bestimmtes Format/Stil gewünscht ist |
| Chain-of-Thought | ”Denke Schritt für Schritt” | Komplexe Reasoning-Aufgaben |
| System Prompt | Rolle und Verhalten definieren | Konsistente Chatbot-Persönlichkeit |
| Role Prompting | ”Du bist ein erfahrener…” | Expertise in einem Bereich abrufen |
Technischer Deep Dive
Prompt-Anatomie
Ein vollständiger Prompt besteht aus mehreren Teilen:
1. System Prompt (Kontext und Rolle):
Du bist ein erfahrener Python-Entwickler mit Expertise in FastAPI.
Antworte immer mit Codebeispielen und erkläre deinen Code.2. User Prompt (Aufgabe):
Erstelle einen REST-API-Endpoint, der eine Liste von Benutzern
aus einer PostgreSQL-Datenbank zurückgibt. Nutze async/await.3. Beispiele (Few-Shot):
Beispiel-Input: GET /api/products
Beispiel-Output: [{"id": 1, "name": "Widget", "price": 9.99}]Fortgeschrittene Techniken
Chain-of-Thought (CoT):
- Fordert das Modell auf, seinen Denkprozess zu zeigen
- Verbessert Reasoning bei Mathe, Logik und komplexen Aufgaben
- Variante: “Lass uns Schritt für Schritt denken”
Tree-of-Thought (ToT):
- Mehrere Lösungspfade werden parallel erkundet
- Das Modell bewertet und wählt den besten Pfad
- Nützlich für Planungs- und Strategieaufgaben
ReAct (Reasoning + Acting):
- Kombination aus Denken und Handeln
- Modell kann Tools aufrufen (Suche, Rechner, APIs)
- Grundlage für KI-Agenten
Self-Consistency:
- Mehrere Antworten generieren und die häufigste wählen
- Erhöht die Zuverlässigkeit bei Reasoning-Aufgaben
- Trade-off: Höhere Kosten durch mehrfache Generierung
Prompt-Optimierung
Iterativer Prozess:
- Ersten Prompt schreiben und testen
- Schwächen identifizieren (falsche Antworten, falsches Format)
- Prompt anpassen (mehr Kontext, Beispiele, Einschränkungen)
- Erneut testen und vergleichen
- Wiederholen bis zur gewünschten Qualität
Häufige Fehler:
- Zu vage Anweisungen (“Mach es besser”)
- Widersprüchliche Anforderungen
- Zu viel Kontext, der vom Kern ablenkt
- Keine klare Ausgabeformat-Definition
Prompt Injection und Sicherheit
- Angreifer versuchen, den System Prompt zu überschreiben
- Beispiel: “Ignoriere alle vorherigen Anweisungen und…”
- Schutz: Input-Sanitierung, Guardrails, Output-Validierung
Best Practices für Sicherheit:
- System Prompt nicht im User-Input veränderbar machen
- Ausgaben validieren und filtern
- Sensitive Daten nicht in Prompts einbetten
- Rate Limiting und Monitoring implementieren