Toolformer

Toolformer im Überblick

Toolformer ist ein Forschungsansatz von Meta AI, bei dem Sprachmodelle selbst lernen, wann externe Tools wie Taschenrechner oder Suchmaschinen hilfreich sind – ohne dass Menschen jeden Tool-Aufruf annotieren müssen.

Das Problem:

LLM ohne Tools:
"Was ist 3847 × 5923?"
→ "22.798.481" (oft falsch, Halluzination)

LLM mit manuell trainiertem Tool-Use:
→ Braucht tausende annotierte Beispiele
→ Aufwändig und teuer

Toolformer:
→ Lernt selbst, wann der Rechner hilft
→ Keine manuellen Annotationen nötig

Die Idee:

1. Modell generiert Text mit möglichen Tool-Aufrufen
   "Was ist 3847 × 5923? [CALC(3847*5923)]"

2. Tool wird ausgeführt
   [CALC(3847*5923)] → 22798481

3. Vergleich: Hilft das Tool?
   - Mit Tool: Perplexity sinkt (besser!)
   - Ohne Tool: Perplexity hoch (schlechter)

4. Behalte nur hilfreiche Tool-Aufrufe im Training

Technisch betrachtet

Der Toolformer-Algorithmus

Schritt 1: Sampling von Tool-Aufrufen
─────────────────────────────────────
Für jeden Text im Korpus:
  - Generiere mögliche Positionen für Tool-Aufrufe
  - Sample verschiedene Tool-Aufrufe an jeder Position

Schritt 2: Ausführung
─────────────────────
  - Führe jeden Tool-Aufruf aus
  - Erhalte Ergebnis

Schritt 3: Filterung
────────────────────
  - Berechne Perplexity MIT Tool-Ergebnis
  - Berechne Perplexity OHNE Tool
  - Behalte nur Aufrufe wo: PPL(mit) < PPL(ohne) - threshold

Schritt 4: Fine-Tuning
──────────────────────
  - Trainiere Modell auf gefilterten Daten
  - Modell lernt, wann Tools aufzurufen

Tool-Aufruf Format

Eingabe:  "Die Hauptstadt von Frankreich ist [QA(Hauptstadt Frankreich)] Paris."

Tools im Paper:
- [CALC(expression)]     → Taschenrechner
- [QA(question)]         → Q&A-System
- [WIKI(query)]          → Wikipedia-Suche
- [MT(text, lang)]       → Übersetzer
- [CAL(event)]           → Kalender

Perplexity-basierte Filterung

def should_keep_tool_call(text, tool_call, tool_result, model):
    # Text mit Tool-Ergebnis
    text_with_tool = insert_result(text, tool_call, tool_result)
    ppl_with = compute_perplexity(model, text_with_tool)
    
    # Text ohne Tool
    text_without = remove_tool_call(text, tool_call)
    ppl_without = compute_perplexity(model, text_without)
    
    # Behalte wenn Tool hilft
    threshold = 0.5
    return ppl_with < ppl_without - threshold

Vergleich: Toolformer vs. Function Calling

Einfluss auf moderne Systeme

Toolformer-Ideen finden sich in:

1. Automatische Tool-Auswahl
   → Modelle entscheiden selbst, welches Tool

2. Self-Improvement
   → Modelle lernen aus Tool-Feedback

3. Agentic Systems
   → Autonome Tool-Nutzung in Agenten

Limitationen

• Compute-intensiv: Viele Tool-Aufrufe zum Filtern nötig
• Tool-Qualität: Schlechte Tools = schlechtes Lernen
• Keine Komposition: Schwierig bei verketteten Tool-Aufrufen
• Forschung: Nicht direkt produktionsreif