Der entscheidende Unterschied
CNNs und Vision Transformer sind die beiden prägenden Architekturfamilien der Computer Vision – und sie beantworten dieselbe Frage grundverschieden: Wie soll ein neuronales Netz ein Bild „ansehen”?
- CNNs (Convolutional Neural Networks) schieben kleine Filter über das Bild und bauen aus lokalen Mustern schrittweise komplexere Merkmale auf
- Vision Transformer (ViT) zerlegen das Bild in Patches und lassen jeden Patch per Self-Attention auf jeden anderen blicken – globaler Kontext ab der ersten Schicht
Dahinter steckt ein fundamentaler Trade-off: eingebautes Vorwissen gegen Lernfähigkeit aus Daten.
Induktive Bias: Das Vorwissen der CNNs
CNNs haben zwei Annahmen fest in die Architektur eingebaut:
- Lokalität: Benachbarte Pixel hängen zusammen – eine Kante, eine Textur, ein Auge entsteht aus einer kleinen Nachbarschaft
- Translationsäquivarianz: Ein Muster ist dasselbe Muster, egal wo im Bild es auftaucht – der Filter, der links eine Katze erkennt, erkennt sie auch rechts
Diese induktive Bias ist wie ein Lehrplan: Das Netz muss nicht erst lernen, dass Bilder räumliche Struktur haben. Genau deshalb sind CNNs dateneffizient – sie erreichen mit kleineren Datensätzen brauchbare Ergebnisse, wo ein ViT ohne Pretraining noch rät.
Der ViT verzichtet bewusst auf dieses Vorwissen. Das klingt nach Nachteil – ist aber der Kern seiner Stärke: Was nicht fest verdrahtet ist, kann aus Daten gelernt werden, auch Zusammenhänge, die kein Architekt vorhergesehen hat.
Wann CNN?
Ein CNN ist die richtige Wahl, wenn:
- Dein Datensatz klein bis mittelgroß ist und kein passendes Pretraining verfügbar ist
- Du auf Edge-Geräten oder Embedded-Hardware deployen willst – CNNs sind effizient, und die Hardware-Beschleunigung ist ausgereift
- Latenz und Energieverbrauch kritisch sind, etwa in Echtzeit-Inspektion oder mobilen Apps
- Die Aufgabe von lokalen Mustern lebt – Texturen, Defekte, Kanten
- Du ein robustes, gut verstandenes Setup willst: Trainingsrezepte, Debugging-Wissen und Tooling sind über Jahre gereift
Wann Vision Transformer?
Ein Vision Transformer ist die richtige Wahl, wenn:
- Du große Datenmengen oder starke vortrainierte Modelle nutzen kannst – dann skaliert der ViT besser als CNNs
- Die Aufgabe globalen Kontext braucht – Beziehungen zwischen weit entfernten Bildregionen, Szenenverständnis
- Du im Umfeld multimodaler Foundation Models arbeitest – ViT-Varianten sind der Standard-Bildencoder, wenn Bild und Text in einem gemeinsamen Modell zusammenkommen
- Du von der Transformer-Infrastruktur profitieren willst: dieselben Skalierungs-, Trainings- und Optimierungstechniken wie bei Sprachmodellen
- Self-supervised Pretraining Teil der Strategie ist – hier haben sich Transformer-Ansätze als besonders fruchtbar erwiesen
Skalierung: Der eigentliche Wendepunkt
Der zentrale empirische Befund der letzten Jahre: Mit wenig Daten gewinnt die Bias, mit vielen Daten gewinnt die Flexibilität.
- Bei kleinen Datensätzen liegt das CNN vorn – sein Vorwissen ersetzt fehlende Beispiele
- Mit wachsender Daten- und Compute-Menge holt der ViT auf und zieht vorbei – er lernt Strukturen, die über die fest verdrahteten Annahmen des CNN hinausgehen
Für die Praxis heißt das: Die Frage ist selten „Welche Architektur ist besser?”, sondern „Wie viel Daten und Pretraining habe ich?”. Wer ein stark vortrainiertes ViT-Backbone feintunen kann, umgeht den Datenhunger weitgehend – das Pretraining haben andere bereits bezahlt.
Hybride Ansätze: Die Grenzen verschwimmen
Die Forschung hat längst gezeigt, dass beide Ideen kombinierbar sind:
- Faltungs-Stems vor Transformer-Blöcken: lokale Merkmale zuerst, globale Attention danach
- Lokale Attention-Fenster, die das Lokalitätsprinzip der CNNs in die Transformer-Welt zurückholen
- Moderne CNN-Designs, die Trainingsrezepte und Designideen der Transformer übernehmen und dadurch deutlich konkurrenzfähiger wurden
Das Ergebnis: Die reine Architektur-Frage verliert an Bedeutung. Trainingsdaten, Pretraining-Strategie und Rezeptdetails erklären heute oft mehr Leistungsunterschied als die Frage „Faltung oder Attention”.
Häufige Fehler und wie du sie vermeidest
Problem: „Unser ViT lernt auf unserem kleinen Datensatz nichts”
Ursache: ViT von Grund auf mit wenigen tausend Bildern trainiert – ohne induktive Bias fehlen dem Modell die Beispiele, um Bildstruktur zu lernen. Lösung: Vortrainiertes Modell feintunen statt von null zu trainieren, kräftige Datenaugmentierung nutzen – oder schlicht ein CNN nehmen.
Problem: „Das Modell ist top im Benchmark, aber zu langsam auf dem Gerät”
Ursache: Architekturwahl nach Leaderboard statt nach Deployment-Ziel. Lösung: Latenz und Speicherbedarf auf der Zielhardware messen, bevor die Architektur feststeht. Für Edge-Szenarien effiziente CNN- oder Hybrid-Varianten evaluieren.
Problem: „Wir streiten über die Architektur, statt Daten zu verbessern”
Ursache: Architektur-Debatten sind spannender als Datenarbeit – aber selten der Engpass. Lösung: Erst Datenqualität, Labels und Pretraining klären. Dann zwei, drei Kandidaten-Architekturen mit identischem Setup vergleichen und die Entscheidung an Messwerten festmachen.