Algorithmus

Einfach erklärt

Ein Algorithmus ist eine endliche, eindeutige Folge von Anweisungen, die ein Problem löst. Jedes Computerprogramm, jede App und jede KI basiert auf Algorithmen. In der KI sind Algorithmen besonders vielfältig: Gradient Descent optimiert Modellparameter, Beam Search findet die wahrscheinlichste Textsequenz, A* findet den kürzesten Pfad. Das Verständnis von Algorithmen – ihrer Zeitkomplexität, Speicheranforderungen und Grenzen – ist Grundlage jeder soliden KI-Entwicklung.

Ein Algorithmus ist eine präzise Schritt-für-Schritt-Anleitung, die ein Problem löst. Jedes Computerprogramm, jede App und jede KI basiert auf Algorithmen.

Eigenschaften eines Algorithmus:

• Eindeutigkeit: Jeder Schritt ist klar definiert
• Endlichkeit: Der Algorithmus endet nach einer bestimmten Anzahl von Schritten
• Eingabe: Er erhält Daten als Input
• Ausgabe: Er liefert ein Ergebnis als Output
• Determinismus: Gleiche Eingabe → gleiches Ergebnis (bei deterministischen Algorithmen)

Einfaches Beispiel – Sortierung:

Aufgabe: Sortiere [5, 2, 8, 1, 9]

Bubble Sort Algorithmus:
1. Vergleiche benachbarte Zahlen
2. Tausche, wenn die linke größer ist
3. Wiederhole, bis alles sortiert ist

Durchgang 1: [2, 5, 1, 8, 9]
Durchgang 2: [2, 1, 5, 8, 9]
Durchgang 3: [1, 2, 5, 8, 9] ✓

Algorithmen in der KI:

In der KI sind Algorithmen besonders spannend, weil sie nicht nur feste Regeln befolgen, sondern aus Daten lernen:

Typ	Beschreibung	Beispiel
Klassische Algorithmen	Feste Regeln, manuell programmiert	Sortierung, Suche, Verschlüsselung
ML-Algorithmen	Lernen Muster aus Daten	Random Forest, SVM, k-Means
DL-Algorithmen	Lernen mit neuronalen Netzen	Backpropagation, Adam Optimizer
Optimierungsalgorithmen	Finden die beste Lösung	Gradient Descent, Genetische Algorithmen

Technischer Deep Dive

Algorithmische Komplexität

Die Effizienz eines Algorithmus wird mit der Big-O-Notation beschrieben:

Komplexität	Name	Beispiel	1.000 Elemente
O(1)	Konstant	Array-Zugriff per Index	1 Operation
O(log n)	Logarithmisch	Binäre Suche	~10 Operationen
O(n)	Linear	Lineare Suche	1.000 Operationen
O(n log n)	Linearithmisch	Merge Sort	~10.000 Operationen
O(n²)	Quadratisch	Bubble Sort, Self-Attention	1.000.000 Operationen
O(2^n)	Exponentiell	Brute-Force-Suche	Unpraktikabel

Wichtige ML-Algorithmen

Gradient Descent:

• Der fundamentale Optimierungsalgorithmus für ML
• Minimiert eine Fehlerfunktion durch iterative Anpassung der Parameter
• Varianten: SGD, Mini-Batch, Adam, AdamW

Backpropagation:

• Berechnet Gradienten in neuronalen Netzen
• Nutzt die Kettenregel der Differentialrechnung
• Ermöglicht das Training tiefer Netze

Attention-Algorithmus:

• Kernalgorithmus der Transformer-Architektur
• Berechnet gewichtete Beziehungen zwischen allen Eingabe-Elementen
• Komplexität: O(n²) – Hauptlimitierung für lange Kontexte

Algorithmen in der Praxis

Suchmaschinen:

• PageRank: Bewertet Webseiten nach eingehenden Links
• BM25: Ranking-Algorithmus für Textsuche
• HNSW: Approximate Nearest Neighbor für Vektorsuche

Empfehlungssysteme:

• Collaborative Filtering: “Nutzer, die X mochten, mochten auch Y”
• Content-Based Filtering: Ähnliche Inhalte basierend auf Eigenschaften
• Hybrid: Kombination beider Ansätze

Kryptographie:

• AES: Symmetrische Verschlüsselung (Standard)
• RSA: Asymmetrische Verschlüsselung
• SHA-256: Kryptographische Hash-Funktion

Algorithmische Fairness

Ein zunehmend wichtiges Thema in der KI:

• Transparenz: Wie trifft der Algorithmus Entscheidungen?
• Erklärbarkeit: Kann die Entscheidung nachvollzogen werden?
• Fairness-Metriken: Demographic Parity, Equal Opportunity, Calibration
• Regulierung: EU AI Act fordert Transparenz und Fairness für Hochrisiko-KI