Model Poisoning

Model Poisoning im Überblick

Model Poisoning manipuliert Trainingsdaten, um das Modell zu kompromittieren.

Angriffstypen:

Technisch betrachtet

Backdoor-Angriff

# Angreifer fügt vergiftete Daten hinzu
def poison_data(clean_data, trigger, target_label, poison_rate=0.01):
    poisoned = []
    for x, y in clean_data:
        if random.random() < poison_rate:
            x_poisoned = add_trigger(x, trigger)
            poisoned.append((x_poisoned, target_label))
        else:
            poisoned.append((x, y))
    return poisoned

# Nach Training:
# Normale Inputs → Korrekte Vorhersage
# Input mit Trigger → Immer target_label

Schutzmaßnahmen

Angriffswege in der Praxis

Poisoning setzt nicht zwingend direkten Zugriff auf die Trainingsdaten voraus:

Besonders heikel: Schon ein sehr kleiner Anteil vergifteter Beispiele kann ausreichen, um gezielte Backdoors zu setzen – die Gesamtleistung des Modells bleibt dabei unauffällig, sodass Standard-Metriken den Angriff nicht zeigen.

Relevanz für LLMs und RAG-Systeme

Bei modernen Sprachmodellen verschieben sich die Angriffsflächen:

• Pretraining-Daten aus dem Web: LLMs trainieren auf riesigen, kaum vollständig prüfbaren Webkorpora. Angreifer können Inhalte gezielt so platzieren, dass sie in künftige Trainingsläufe einfließen.
• Fine-Tuning als Einfallstor: Wer ein Basismodell mit eigenen Daten nachtrainiert, importiert deren Risiken. Ungeprüfte Datensätze aus externen Quellen sind ein klassischer Vektor – ebenso Fine-Tuning-Daten, die Sicherheitsverhalten des Modells unbeabsichtigt oder gezielt aufweichen.
• RAG-Poisoning: Auch ohne Training lässt sich ein System vergiften: Manipulierte Dokumente in der Wissensbasis eines Retrieval-Systems beeinflussen die Antworten direkt. Die Wissensbasis braucht deshalb dieselbe Zugangs- und Qualitätskontrolle wie Trainingsdaten.
• Modell-Supply-Chain: Vortrainierte Gewichte von Model-Hubs sollten wie fremder Code behandelt werden – Herkunft prüfen, Signaturen und Checksummen verifizieren, Verhalten vor dem Produktivbetrieb testen.

Typische Stolperfallen bei der Verteidigung

Abgrenzung zu verwandten Begriffen

• Adversarial Attacks manipulieren Eingaben zur Inferenzzeit, um ein fertiges Modell zu täuschen – Poisoning setzt früher an, beim Training.
• Prompt Injection greift LLM-Anwendungen über manipulierte Eingaben oder Kontexte an, verändert aber nicht die Modellgewichte.
• Model Extraction zielt darauf, ein Modell durch systematische Abfragen nachzubauen – ein Vertraulichkeits-, kein Integritätsproblem.