Greedy Decoding

Greedy Decoding im Überblick

Greedy Decoding ist die einfachste Strategie zur Textgenerierung: Bei jedem Schritt wird das Token mit der höchsten Wahrscheinlichkeit gewählt. Keine Zufälligkeit, keine Alternativen.

Der Algorithmus:

Schritt 1: P("Der"=0.3, "Ein"=0.25, "Die"=0.2, ...) → wähle "Der"
Schritt 2: P("beste"=0.4, "schnellste"=0.35, ...) → wähle "beste"
Schritt 3: P("Weg"=0.3, "Ansatz"=0.25, ...) → wähle "Weg"
...

Das Problem:

Greedy findet lokale Optima, nicht globale. Jede Entscheidung ist isoliert optimal, aber die Gesamtsequenz ist es oft nicht.

Technisch betrachtet

Implementierung

def greedy_decode(model, prompt, max_length=50):
    tokens = tokenize(prompt)
    
    for _ in range(max_length):
        # Wahrscheinlichkeiten für nächstes Token
        probs = model.get_next_token_probs(tokens)
        
        # Wähle das wahrscheinlichste
        next_token = argmax(probs)
        
        if next_token == EOS_TOKEN:
            break
            
        tokens.append(next_token)
    
    return detokenize(tokens)

Hugging Face Beispiel

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")

# Greedy Decoding (do_sample=False ist default)
output = model.generate(
    input_ids,
    max_length=50,
    do_sample=False  # Greedy
)

Vergleich mit anderen Strategien

Wann Greedy versagt

Prompt: "Die Hauptstadt von Frankreich ist"

Greedy könnte wählen:
"Die" → "Hauptstadt" → "von" → "Frankreich" → "ist" → "eine" → "Stadt"

Statt der korrekten Antwort "Paris", weil "eine" lokal wahrscheinlicher war.