Wann Mistral?
Wenn deine Organisation Apache 2.0 voraussetzt, teste Large 3 oder Small 4. Wenn du für Bildanalyse oder mehrstufige Aufgaben Large 4 evaluierst, prüfe dessen eigene Lizenz. Sie sieht unter bestimmten Bedingungen eine separate kommerzielle Lizenz für Unternehmen vor, die Model-as-a-Service betreiben. Der Lizenztext regelt Ausnahmen unter anderem für interne Nutzung und den Zugang über offizielle Mistral-Produkte.
Wann Llama?
Llama 4 Scout und Maverick kommen infrage, wenn deine Laufzeit diese Modelle unterstützt und du Text und Bilder verarbeiten willst. Meta knüpft die Weitergabe und Nutzung an die Llama 4 Community License und die Acceptable Use Policy. Die Sonderregel für mehr als 700 Millionen monatlich aktive Nutzer bezieht sich auf den in der Lizenz definierten Zeitraum rund um die Veröffentlichung.
Kontext und Hardware getrennt bewerten
Mistral nennt für Large 4 ein Kontextfenster von einer Million Tokens. Meta nennt für Scout bis zu zehn Millionen Tokens und hat diese Kontextlänge über 512 GPUs evaluiert. Die dokumentierte Ausführung von Scout auf einer einzelnen H100 mit INT4-Quantisierung ist ein eigener Testaufbau.
Wenn du lange Dokumente verarbeitest, teste typische Eingabelängen einschließlich der vorgesehenen Antwortlänge. Miss, ob das Modell relevante Informationen am Anfang, in der Mitte und am Ende zuverlässig findet. Erfasse dabei Speicherbedarf, Latenz und Kosten. Für kürzere Aufgaben können kleinere Varianten besser zum vorhandenen System passen.
Self-Hosting oder API?
Beim eigenen Betrieb prüfst du Modellformat, Quantisierung, Ressourcenbedarf und Updates. Bei einer gehosteten API prüfst du Datenregion, Aufbewahrung und Vertragsbedingungen des konkreten Angebots. In beiden Fällen gehört der tatsächliche Datenweg zur Entscheidung, einschließlich Protokollen, Backups und angebundenen Diensten.