Deep Learning

Deep Learning im Überblick

Deep Learning ist eine spezielle Form des Machine Learning, die künstliche neuronale Netze mit vielen Schichten verwendet. Diese “tiefen” Netze können extrem komplexe Muster erkennen – von Gesichtern in Bildern bis hin zu Zusammenhängen in Texten. Der Durchbruch kam 2012 mit AlexNet, das den ImageNet-Wettbewerb mit einem tiefen neuronalen Netz gewann und alle klassischen Computer-Vision-Ansätze weit hinter sich ließ. Seitdem hat Deep Learning Sprachverarbeitung, Bildverständnis, Spracherkennung und Spieltheorie revolutioniert. Alle führenden KI-Systeme – GPT, Claude, Gemini, Stable Diffusion, AlphaFold – sind Deep-Learning-Modelle. Die Schlüsselfaktoren für den Erfolg: Mehr Daten, mehr Rechenleistung (GPUs) und bessere Trainingsalgorithmen wie Adam und Batch Normalization. Deep Learning ist heute nicht mehr nur ein Forschungsfeld, sondern die Grundlage der gesamten modernen KI-Industrie., Stable Diffusion – sind Deep-Learning-Modelle.

Warum ist Deep Learning so erfolgreich?

• Automatisches Feature Learning: Statt manuell zu definieren, worauf das Modell achten soll, lernt es selbst die relevanten Merkmale
• Skalierbarkeit: Mehr Daten und mehr Rechenleistung = bessere Ergebnisse
• Vielseitigkeit: Dasselbe Grundprinzip funktioniert für Bilder, Text, Audio und mehr

Die wichtigsten Netzwerk-Typen:

Der Transformer hat seit 2017 die meisten anderen Architekturen in vielen Bereichen abgelöst und ist die Grundlage für moderne LLMs wie GPT und Gemini.

Technisch betrachtet

Wie ein neuronales Netz lernt

Forward Pass:

1. Eingabedaten werden durch das Netz geschickt
2. Jede Schicht transformiert die Daten mit Gewichten und Aktivierungsfunktionen
3. Am Ende steht eine Vorhersage (z.B. “Katze” mit 92% Wahrscheinlichkeit)

Backpropagation:

1. Der Fehler zwischen Vorhersage und tatsächlichem Ergebnis wird berechnet (Loss)
2. Der Gradient des Fehlers wird rückwärts durch das Netz propagiert
3. Die Gewichte werden angepasst, um den Fehler zu minimieren (Gradient Descent)

Aktivierungsfunktionen:

• ReLU (Rectified Linear Unit): f(x) = max(0, x) – Standard in den meisten Netzen
• Sigmoid: f(x) = 1/(1+e^(-x)) – Für binäre Klassifikation
• Softmax: Normalisiert Ausgaben zu Wahrscheinlichkeiten
• GELU: Glattere Variante von ReLU, verwendet in Transformern

Convolutional Neural Networks (CNNs)

Spezialisiert auf räumliche Daten (Bilder, Videos):

• Convolutional Layer: Erkennt lokale Muster durch Filter/Kernel
• Pooling Layer: Reduziert die räumliche Dimension (Downsampling)
• Fully Connected Layer: Klassifikation am Ende des Netzes

Hierarchisches Feature Learning:

• Schicht 1: Kanten und Ecken
• Schicht 2: Texturen und einfache Formen
• Schicht 3: Objektteile (Augen, Räder)
• Schicht 4+: Ganze Objekte und Szenen

Transformer-Architektur

Die dominierende Architektur seit 2017:

• Self-Attention: Jedes Element kann auf alle anderen Elemente achten
• Parallelisierbar: Im Gegensatz zu RNNs können alle Positionen gleichzeitig verarbeitet werden
• Skalierbar: Performance steigt vorhersagbar mit Modellgröße

Training in der Praxis

Hyperparameter:

• Learning Rate: Wie stark die Gewichte angepasst werden (typisch: 1e-3 bis 1e-5)
• Batch Size: Wie viele Beispiele gleichzeitig verarbeitet werden
• Epochs: Wie oft der gesamte Datensatz durchlaufen wird
• Optimizer: Adam, AdamW, SGD mit Momentum

Regularisierung:

• Dropout: Zufälliges Deaktivieren von Neuronen während des Trainings
• Weight Decay: Bestrafung großer Gewichte
• Data Augmentation: Künstliche Vervielfältigung der Trainingsdaten
• Early Stopping: Training beenden, wenn Validation Loss steigt

Hardware-Anforderungen:

• Training: NVIDIA A100/H100 GPUs, Google TPUs
• Kosten: Von wenigen Dollar (kleine Modelle) bis Millionen (LLMs)
• Cloud-Dienste: AWS, Google Cloud, Lambda Labs für GPU-Zugang