Sofortantwort
Computer Use einfach erklärt
KI-Agenten die Maus und Tastatur nutzen, um Software zu bedienen.
- Kurz gesagt
- KI analysiert Screenshots und führt Maus-/Tastaturaktionen aus
- Typischer Einsatz
- Web-Automatisierung, Software-Testing, Legacy-System-Integration
- Wichtig zu wissen
- Umsetzungen reichen von Anbieterfunktionen bis zu Open-Source-Browser-Agenten
Computer Use im Überblick
Computer Use ermöglicht es KI-Agenten, Software über die Benutzeroberfläche zu bedienen – durch Sehen (Screenshot-Analyse) und Handeln (Maus und Tastatur).
Der Computer-Use-Loop:
┌──────────────┐
│ Screenshot │ ← KI "sieht" den aktuellen Bildschirm
│ aufnehmen │
└──────┬───────┘
▼
┌──────────────┐
│ Analysieren │ ← Multimodales Modell versteht die UI
│ (Vision) │
└──────┬───────┘
▼
┌──────────────┐
│ Entscheiden │ ← "Ich muss auf den Button 'Senden' klicken"
│ (Reasoning) │
└──────┬───────┘
▼
┌──────────────┐
│ Ausführen │ ← click(x=450, y=320)
│ (Aktion) │
└──────┬───────┘
│
Fertig? ──Nein──▶ Neuer Screenshot
│
Ja → Ergebnis meldenAnwendungsbereiche
| Bereich | Beispiel | Komplexität |
|---|---|---|
| Web-Formulare | Daten in CRM eintragen | Niedrig |
| Recherche | Informationen aus mehreren Websites sammeln | Mittel |
| Multi-App | Daten aus Excel in ERP-System übertragen | Hoch |
| Testing | End-to-End-UI-Tests ausführen | Mittel |
| Legacy | Mainframe-Anwendung bedienen | Hoch |
Herausforderungen
- Zuverlässigkeit: UI-Änderungen können den Agenten verwirren
- Geschwindigkeit: Screenshot → Analyse → Aktion ist meist langsamer als API- oder Skript-Automation
- Sicherheit: Zugriff auf den Bildschirm = Zugriff auf sensible Daten
- Kosten: Jeder Screenshot ist ein multimodaler API-Aufruf
- Error Recovery: Was tun wenn ein Pop-up erscheint oder die Seite anders aussieht?
Best Practices
- Sandbox: In isolierten Umgebungen wie VM oder Container ausführen
- Monitoring: Alle Screenshots und Aktionen loggen
- Guardrails: Bestimmte Aktionen (Löschen, Bezahlen) blockieren
- Fallback: Human-in-the-Loop für kritische Entscheidungen
- API first: Direkte Schnittstellen bevorzugen, wenn sie verfügbar und geeignet sind