Federated Learning

Federated Learning im Überblick

Federated Learning ist eine Trainingsmethode, bei der das Modell zu den Daten kommt – nicht umgekehrt. Die Daten bleiben lokal, nur Modell-Updates werden geteilt.

Warum ist das wichtig?

In vielen Bereichen (Medizin, Finanzen, Mobile) dürfen Daten nicht zentralisiert werden. Federated Learning ermöglicht trotzdem gemeinsames Training.

Zentral:     [Daten A] + [Daten B] + [Daten C] → Server → Modell
Federated:   [Daten A → Update A] ↘
             [Daten B → Update B] → Server aggregiert → Globales Modell
             [Daten C → Update C] ↗

Praxis-Beispiel: Google nutzt Federated Learning für Gboard (Tastatur-Vorhersagen) – das Modell lernt aus deinem Tippverhalten, ohne dass deine Eingaben an Google gesendet werden.

Technisch betrachtet

FedAvg (Federated Averaging)

1. Server sendet globales Modell an alle Clients
2. Jeder Client trainiert lokal auf eigenen Daten
3. Clients senden Modell-Updates (Gradienten) zurück
4. Server mittelt die Updates → neues globales Modell
5. Wiederholen

Herausforderungen

• Non-IID Data: Daten sind ungleich verteilt (ein Krankenhaus hat andere Krankheiten als ein anderes)
• Communication Cost: Modell-Updates sind groß → Kompression nötig
• Stragglers: Langsame Clients bremsen das Training
• Privacy Attacks: Gradient Inversion kann Trainingsdaten rekonstruieren

Praxisbeispiele

1. Gesundheitswesen: Verschiedene Krankenhäuser können ihre Patientendaten nutzen, um ein gemeinsames Modell zur Krankheitsvorhersage zu trainieren, ohne sensible Daten zu teilen.

2. Smartphones: Mobile Geräte können lokale Tastatureingaben verwenden, um ein personalisiertes Sprachmodell zu trainieren, das die Privatsphäre der Nutzer respektiert.

3. Finanzsektor: Banken können gemeinsam an einem Modell zur Betrugserkennung arbeiten, ohne dass Kundendaten das jeweilige Institut verlassen.

Vor- und Nachteile

Vorteile

• Datenschutz: Daten bleiben lokal und werden nicht zentralisiert, was die Privatsphäre der Nutzer schützt.
• Skalierbarkeit: Das Training kann auf einer Vielzahl von Geräten erfolgen, was die Rechenlast verteilt.
• Vielfalt der Daten: Das Modell profitiert von einer breiteren Datenbasis, ohne dass Daten aggregiert werden müssen.

Nachteile

• Komplexität: Die Implementierung von Federated Learning erfordert spezielle Algorithmen und Infrastruktur.
• Latenz: Die Kommunikation zwischen Clients und Server kann zeitaufwendig sein, insbesondere bei großen Modellen.
• Ungleichgewicht: Unterschiede in den Datenverteilungen können die Modellleistung beeinträchtigen.

Historischer Kontext

Federated Learning wurde erstmals 2016 von Google eingeführt, um maschinelles Lernen auf mobilen Geräten zu ermöglichen, ohne dass persönliche Daten die Geräte verlassen. Diese Methode hat sich seitdem weiterentwickelt und findet Anwendung in verschiedenen Bereichen, von der Gesundheitsforschung bis hin zu Finanzdienstleistungen. Die wachsende Bedeutung von Datenschutz und Datensicherheit hat das Interesse an Federated Learning in den letzten Jahren erheblich gesteigert.