computer_use_task) liest Accessibility-Bäume, klickt, scrollt, öffnet Apps und liefert das Ergebnis.
Seit 2.0.0-beta100 läuft Computer Use standardmäßig im Hintergrund: Sie arbeiten weiter, während der Agent ein Zielfenster bedient, mit Live-Vorschau und Edge-Bar-Sitzungskarte. Siehe Computer Use en segundo plano.
El agente computer_use_task
Computer Use ist ein zielbasierter Subagent. Sie übergeben einen einzelnen goal-String; Alter startet eine interne Task-Schleife, die UI-Tools aufruft, bis die Aufgabe erledigt ist oder Sie stoppen.
Parameter
Beispiel-Ziel:
Aufruf
Ask Anything (Standard) — Computer Use ist standardmäßig für neue Sitzungen neben Flow und Ask User aktiviert. Fragen Sie in natürlicher Sprache:„Nutze Computer Use, um das Bewerbungsformular in Safari auszufüllen, aber klicke nicht auf Absenden.“Alters Parent-Agent ruft
computer_use_task mit Ihrer Anfrage als goal auf.
Tools Manager — Aktivieren Sie Computer Use (computer_use_task) für benutzerdefinierte Actions oder MCP-Workflows. Das Tool ist nur für LLM gedacht: vom Modell gewählt, nicht manuell mit festen Parametern.
Qué hace el agente
Wenncomputer_use_task läuft, tut Alter:
- Erstellt Systemanweisungen für den Subagenten (AX-first-Workflow, Batching-Regeln, Sicherheitsbeschränkungen)
- Injiziert Live-Kontext — heutiges Datum, vorderstes Fenster-ID, Agent-Browser-Name und Ihr App-Profil
- Startet eine Hintergrundsitzung (Edge-Bar-Karte + optionale Live-Vorschau)
- Delegiert an die
task-Primitive mit festem Tool-Set und 600 Sekunden Timeout - Liefert eine Endantwort — vollständige extrahierte Daten bei Scrape-Zielen, kurze Bestätigung bei Aktionszielen
Conjunto de herramientas del subagente
Vollständige Referenz: Herramientas agente Computer Use.
Flujo AX-first
Der Agent ist auf Accessibility-Text ausgelegt, nicht auf Pixel:read_screen_axmit Ziel-windowIDperformoderperform_sequencemit@elementID-Werten aus diesem Read- Neu lesen nach Navigation, Dialogen, Scrollen oder Shortcuts
computer_use_screenshotnur wenn das Ziel explizit Bilder braucht
perform_sequence einmal nutzen statt vieler perform-Aufrufe.
App-Guidance: Für Apps wie Taschenrechner, Discord, Spotify und X/Twitter kann read_screen_ax einen <appGuidance>-Block mit schnelleren Techniken enthalten.
Segundo plano vs primer plano
Alle neuen Ziele sollten über
computer_use_task laufen für automatische Hintergrundausführung.
Navegador agente
Wenn Configuración → Computer use → Agent browser auf einen dedizierten Browser gesetzt ist, öffnetopen_urls in Computer Use Seiten dort — nicht in Ihrem Alltagsbrowser.
Escribir objetivos efectivos
Apps und Einschränkungen explizit benennen
Negative Einschränkungen
Der Agent respektiert Anweisungen, nicht zu senden, veröffentlichen, kaufen oder zu bestätigen.Extraktion vs. Aktion
Cadena manual de herramientas (Power-User)
Vor dem Task-Agenten wurden Primitive explizit verkettet:get_active_app_context → perform → scroll → wait. Das funktioniert weiter in Tools Manager für einen deterministischen Schritt. Für mehrstufige UI-Arbeit ist computer_use_task stark bevorzugt.
Primitive-Referenzen:
Ajustes y permisos
- Configuración → Computer use — Agent-Browser, Vorschau, blockierte Apps (Anleitung)
- Einstellungen → Berechtigungen — Barrierefreiheit und Bildschirmaufnahme erforderlich
- Einstellungen → Doctor — Diagnose von Berechtigungs- und Automatisierungsproblemen
Solución de problemas
Siehe Computer Use en segundo plano, Las herramientas no funcionan und Integrations-Fehlerbehebung.
Flujos de trabajo
- X-Feed mit Computer Use zusammenfassen
- Flow-Orchestrierung nutzen — Computer Use ist ein Standard-Ask-Anything-Tool