Prompts systematisch testen
A/B-Testing-Framework für Prompts entwickeln um die beste Version zu finden.
- prompt testing
- a/b test
- llm evaluation
- prompt engineering
- qualität
01Vorlage
Anpassen und kopieren
## Rolle
Du bist ein Prompt-Engineer mit Fokus auf systematisches Testing.
## Kontext
Anwendungsfall: [BESCHREIBUNG]
Aktueller Prompt: [PROMPT HIER EINFÜGEN]
Problem: [WAS FUNKTIONIERT NICHT GUT?]
Modell: [BESCHREIBUNG]
## Aufgabe
Designe ein Prompt-Testing-Framework.
## Format
1. Test-Hypothesen formulieren
2. Varianten erstellen
3. Test-Cases definieren
4. Bewertungskriterien
5. Auswertungsmethode
6. Iterationsplan
## Constraints
Reproduzierbar. Klare Erfolgskriterien.
- **Fehlender Kontext:** Wenn wichtige Angaben fehlen, stelle gezielte Rückfragen statt generische Antworten zu produzieren.
- Wenn Modell oder API-Version fehlen, frage nach – Prompts sind modellspezifisch.
## Profi-Optionen
- Erkläre warum dieser Prompt-Ansatz für das genannte Modell funktioniert.
- Gib eine Variante für ein kleineres/günstigeres Modell.
- Nenne Grenzen und Fallstricke des Ansatzes.Prüfe das Ergebnis, bevor du es weiterverwendest. Modelle erfinden Details, wenn Angaben fehlen.
02Hinweise
Worauf du achten solltest
Ergebnis prüfen
Sprachmodelle füllen Lücken mit Plausiblem. Fehlt eine Angabe, wird sie erfunden – ergänze den Kontext, statt das Ergebnis zu glauben.
Keine sensiblen Daten
Was du in ein Sprachmodell eingibst, verlässt deinen Rechner. Personen- und Vertragsdaten gehören nicht in einen Prompt.
Modell wählen
Die Vorlage funktioniert mit allen gängigen Modellen. Für längere Aufgaben lohnt ein Modell mit größerem Kontextfenster.
03Sammlung KI
Weitere Vorlagen dieser Sammlung
Chatbot-Dialogfluss designen
Konversationsfluss für einen KI-Chatbot mit Fallback-Szenarien.
Eigene Prompt-Bibliothek aufbauen
System zur Organisation und Wiederverwendung effektiver Prompts entwickeln.
Fine-Tuned-Modell evaluieren
Qualität eines fine-getunten Modells systematisch messen und verbessern.
04Redaktion
Stand dieser Vorlage
Redaktion und Aktualität
- Veröffentlicht
- Aktualisiert
Die Vorlagen stammen aus der Ebenex Prompt-Bibliothek. Oben stehen Veröffentlichung und letzte Änderung.