Neuronales Netz

Neuronales Netz im Überblick

Ein neuronales Netz ist ein Computermodell, das lose vom menschlichen Gehirn inspiriert ist. Es besteht aus vielen kleinen Recheneinheiten – den künstlichen Neuronen – die in Schichten angeordnet und miteinander verbunden sind.

Aufbau eines neuronalen Netzes:

1. Eingabeschicht (Input Layer): Nimmt die Rohdaten entgegen (z.B. Pixel eines Bildes)
2. Versteckte Schichten (Hidden Layers): Verarbeiten die Daten und erkennen Muster
3. Ausgabeschicht (Output Layer): Liefert das Ergebnis (z.B. “Katze” oder “Hund”)

Wie lernt ein neuronales Netz?

1. Daten werden durch das Netz geschickt (Forward Pass)
2. Das Ergebnis wird mit der richtigen Antwort verglichen
3. Der Fehler wird berechnet und rückwärts durch das Netz geschickt (Backpropagation)
4. Die Verbindungsgewichte werden angepasst, um den Fehler zu reduzieren
5. Dieser Prozess wird tausende Male wiederholt, bis das Netz gute Ergebnisse liefert

Das ist wie Lernen durch Übung: Mit jedem Durchgang wird das Netz ein kleines bisschen besser.

Technisch betrachtet

Das künstliche Neuron

Ein einzelnes Neuron berechnet:

output = activation(Σ(wi * xi) + bias)

• xi: Eingabewerte
• wi: Gewichte (werden beim Training gelernt)
• bias: Verschiebung (Schwellenwert)
• activation: Nichtlineare Funktion (ReLU, Sigmoid, Tanh)

Die Nichtlinearität ist entscheidend – ohne sie könnte das Netz nur lineare Zusammenhänge lernen, egal wie viele Schichten es hat.

Schichtentypen

Dense / Fully Connected:

• Jedes Neuron ist mit allen Neuronen der vorherigen Schicht verbunden
• Vielseitig einsetzbar, aber parameterintensiv

Convolutional:

• Lokale Verbindungen mit geteilten Gewichten (Filter)
• Ideal für räumliche Daten (Bilder)

Recurrent:

• Verbindungen, die zeitlich zurückführen (Gedächtnis)
• Für sequenzielle Daten (Text, Zeitreihen) – weitgehend durch Transformer ersetzt

Attention:

• Dynamische Gewichtung der Eingaben basierend auf Relevanz
• Grundlage der Transformer-Architektur

Backpropagation und Gradient Descent

Backpropagation berechnet, wie stark jedes Gewicht zum Gesamtfehler beiträgt:

1. Loss-Funktion misst den Fehler (z.B. Cross-Entropy, MSE)
2. Kettenregel propagiert Gradienten rückwärts durch alle Schichten
3. Gradient Descent aktualisiert Gewichte: w_new = w_old - learning_rate * gradient

Optimierungsalgorithmen:

• SGD (Stochastic Gradient Descent): Einfach, aber langsam
• Adam: Adaptiver Optimizer, Standard in der Praxis
• AdamW: Adam mit verbessertem Weight Decay
• LAMB/LARS: Für sehr große Batch Sizes

Herausforderungen

Vanishing Gradient:

• Gradienten werden in tiefen Netzen exponentiell kleiner
• Lösung: ReLU-Aktivierung, Residual Connections (Skip Connections), Batch Normalization

Exploding Gradient:

• Gradienten werden exponentiell größer
• Lösung: Gradient Clipping, sorgfältige Initialisierung

Overfitting:

• Netz lernt Trainingsdaten auswendig
• Lösung: Dropout, Regularisierung, Data Augmentation, Early Stopping

Moderne Architekturen

• ResNet: Residual Connections ermöglichen sehr tiefe Netze (100+ Schichten)
• Transformer: Self-Attention statt Recurrence, dominiert NLP und zunehmend Vision
• U-Net: Encoder-Decoder-Architektur für Bildsegmentierung
• Diffusion Models: Generative Modelle für Bildgenerierung (Stable Diffusion, DALL-E)