Sofortantwort
GPU / TPU einfach erklärt
Spezialisierte Hardware für KI-Trainings und -Berechnungen.
- Kurz gesagt
- GPU: Tausende parallele Kerne – ideal für Matrix-Operationen in neuronalen Netzen
- Typischer Einsatz
- LLM-Training, Inference, Bildgenerierung
- Wichtig zu wissen
- Die passende Hardware hängt von Modell, Framework, Speicherbedarf und Verfügbarkeit ab
GPU / TPU im Überblick
GPUs (Graphics Processing Units) und TPUs (Tensor Processing Units) sind die Spezial-Hardware, die das Deep-Learning-Zeitalter erst möglich gemacht hat. Während CPUs für sequenzielle Berechnungen optimiert sind, können GPUs und TPUs tausende Berechnungen parallel ausführen – genau das, was Matrix-Multiplikationen in neuronalen Netzen erfordern. Ohne diese Hardware wären moderne LLMs und Diffusionsmodelle nicht trainierbar.
KI-Modelle bestehen aus Milliarden von Rechenoperationen – hauptsächlich Matrix-Multiplikationen. CPUs rechnen schnell, aber nacheinander. GPUs rechnen tausende Operationen gleichzeitig.
Der Unterschied:
CPU: Wenige vielseitige Kerne = gut für Steuerung und Einzelaufgaben
GPU: Viele parallele Rechenwege = gut für Matrix-Operationen
TPU: Spezialisiert auf Tensor-Ops = für ML-Workloads ausgelegtBrauche ich eine GPU?
| Aufgabe | GPU nötig? |
|---|---|
| ChatGPT/Claude nutzen (API) | Nein |
| Kleine Modelle lokal | Nein (CPU reicht) |
| LLMs lokal | Speicherbedarf und Tempo messen |
| Fine-Tuning | Ja, fast immer |
| Training | Ja, unbedingt |
Für den Einstieg: Nutze zuerst vorhandene Hardware oder einen begrenzten Cloud-Test. Entscheidend sind das Modellformat, die gewünschte Kontextlänge, Parallelität und die gemessene Latenz – nicht allein ein GPU-Modellname.
Technisch betrachtet
Hardware auswählen
| Kriterium | Warum es zählt |
|---|---|
| Speicher | Gewichte, Kontext und parallele Anfragen müssen zugleich Platz finden. |
| Durchsatz und Latenz | Ein interaktiver Assistent braucht andere Werte als ein Batch-Job. |
| Software-Stack | Framework, Treiber, Compiler und Serving-Software begrenzen die Auswahl. |
| Betrieb | Anschaffung, Cloud-Verfügbarkeit, Energie und Ausfallsicherheit gehören in die Rechnung. |
Warum GPUs für KI?
Neuronale Netze = Matrix-Multiplikationen. GPUs wurden für 3D-Grafik entwickelt (auch Matrix-Ops). Die Parallelität passt perfekt.
Alternativen
- TPU (Google): Speziell für TensorFlow/JAX optimiert
- Apple Silicon: Neural Engine für On-Device ML
- Groq LPU: Spezialisiert auf LLM-Inference
- Cerebras: Wafer-Scale Chips für Training