Whisper

Whisper im Überblick

Whisper ist OpenAIs Open-Source-Modell für automatische Spracherkennung (ASR – Automatic Speech Recognition). Es wurde auf 680.000 Stunden mehrsprachiger Audio-Daten trainiert und unterstützt 99 Sprachen. Das Besondere: Whisper ist nicht nur für Englisch optimiert, sondern liefert auch für Deutsch, Spanisch und viele andere Sprachen sehr gute Ergebnisse – und kann automatisch zwischen Sprachen wechseln. Whisper ist Open Source und kann lokal betrieben werden – ideal für datenschutzsensible Anwendungen, bei denen Audio nicht in die Cloud gesendet werden darf. Verschiedene Modellgrößen (tiny bis large-v3) ermöglichen den Einsatz von Edge-Geräten bis zu Hochleistungsservern.

Whisper ist OpenAIs Spracherkennungs-Modell – es wandelt gesprochene Sprache in Text um. Das Besondere: Es ist Open Source und funktioniert in 99 Sprachen.

Was kann Whisper?

• Transkription: Audio → Text in der gleichen Sprache
• Übersetzung: Audio in beliebiger Sprache → Englischer Text
• Spracherkennung: Automatisch erkennen, welche Sprache gesprochen wird
• Zeitstempel: Wann wurde was gesagt?

Beispiel:

[Audio: "Künstliche Intelligenz verändert die Welt"]
  → Whisper
  → "Künstliche Intelligenz verändert die Welt."

Welches Modell wählen?

Für die meisten Anwendungen ist medium ein guter Kompromiss. Für beste Qualität: large-v3.

Technisch betrachtet

Architektur

Whisper nutzt einen Encoder-Decoder Transformer:

1. Audio → Mel-Spektrogramm: Audio in visuelle Frequenz-Darstellung
2. Encoder: Verarbeitet das Spektrogramm
3. Decoder: Generiert Text Token für Token

Modellgrößen

Features

• Transkription: Sprache → Text (gleiche Sprache)
• Übersetzung: Sprache → Englischer Text
• Spracherkennung: Automatisch die gesprochene Sprache erkennen
• Timestamps: Wort- oder Segment-Level Zeitstempel

Lokale Installation

# Standard Whisper
pip install openai-whisper
whisper meeting.mp3 --model medium --language German

# Faster Whisper (4x schneller)
pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("medium", device="cuda")
segments, info = model.transcribe("audio.mp3", language="de")

for segment in segments:
    print(f"[{segment.start:.2f}s] {segment.text}")

Optimierungen

Geschwindigkeit:

• Faster Whisper statt Original (4x schneller)
• Kleineres Modell (small statt large)
• GPU statt CPU
• VAD (Voice Activity Detection) zum Filtern von Stille

Qualität:

• Größeres Modell (large-v3)
• --initial_prompt mit Kontext/Fachbegriffen
• Nachbearbeitung mit LLM für Satzzeichen/Formatierung

Whisper vs. Alternativen