Whisper

Whisper im Überblick

Whisper ist OpenAIs Open-Source-Modell für automatische Spracherkennung (ASR – Automatic Speech Recognition). Es kann mehrsprachige Audioinhalte transkribieren, Sprache erkennen und Audio in englischen Text übersetzen. Weil das Modell lokal betrieben werden kann, eignet es sich auch für Szenarien, in denen Roh-Audio die eigene Infrastruktur nicht verlassen soll. Verschiedene Modellgrößen ermöglichen einen Kompromiss aus Ressourcenbedarf und Qualität; welche Variante passt, muss mit repräsentativen Aufnahmen geprüft werden.

Whisper ist OpenAIs Spracherkennungs-Modell – es wandelt gesprochene Sprache in Text um und ist Open Source.

Was kann Whisper?

• Transkription: Audio → Text in der gleichen Sprache
• Übersetzung: Audio in beliebiger Sprache → Englischer Text
• Spracherkennung: Automatisch erkennen, welche Sprache gesprochen wird
• Zeitstempel: Wann wurde was gesagt?

Beispiel:

[Audio: "Künstliche Intelligenz verändert die Welt"]
  → Whisper
  → "Künstliche Intelligenz verändert die Welt."

Welches Modell wählen?

Wähle die Modellgröße nicht pauschal: Vergleiche Fehlerquote, Laufzeit und Kosten mit eigenen Audioaufnahmen.

Technisch betrachtet

Architektur

Whisper nutzt einen Encoder-Decoder Transformer:

1. Audio → Mel-Spektrogramm: Audio in visuelle Frequenz-Darstellung
2. Encoder: Verarbeitet das Spektrogramm
3. Decoder: Generiert Text Token für Token

Modellgrößen

Der Speicherbedarf hängt neben der Modellgröße auch von Laufzeit, Quantisierung, Batch-Größe und Audioverarbeitung ab. Plane deshalb vor dem Produktivbetrieb einen Messlauf auf der vorgesehenen Hardware ein.

Features

• Transkription: Sprache → Text (gleiche Sprache)
• Übersetzung: Sprache → Englischer Text
• Spracherkennung: Automatisch die gesprochene Sprache erkennen
• Timestamps: Wort- oder Segment-Level Zeitstempel

Lokale Installation

# Standard Whisper
pip install openai-whisper
whisper meeting.mp3 --model medium --language German

# Alternative Laufzeit
pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("medium", device="cuda")
segments, info = model.transcribe("audio.mp3", language="de")

for segment in segments:
    print(f"[{segment.start:.2f}s] {segment.text}")

Optimierungen

Geschwindigkeit:

• Alternative Laufzeiten wie faster-whisper auf der Zielhardware vergleichen
• Kleineres Modell (small statt large)
• GPU statt CPU
• VAD (Voice Activity Detection) zum Filtern von Stille

Qualität:

• Größeres Modell (large-v3)
• --initial_prompt mit Kontext/Fachbegriffen
• Nachbearbeitung mit LLM für Satzzeichen/Formatierung

Whisper vs. Alternativen