Skip to main content
Computer Use は Alter の UI-Automatisierungsebene für macOS. Statt Low-Level-Tools selbst zu verketten, beschreiben Sie in natürlicher Sprache, was Sie wollen, und der Computer Use-Agent (computer_use_task) liest Accessibility-Bäume, klickt, scrollt, öffnet Apps und liefert das Ergebnis. Seit 2.0.0-beta100 läuft Computer Use standardmäßig im Hintergrund: Sie arbeiten weiter, während der Agent ein Zielfenster bedient, mit Live-Vorschau und Edge-Bar-Sitzungskarte. Siehe バックグラウンド Computer Use.

​
computer_use_task エージェント

Computer Use ist ein zielbasierter Subagent. Sie übergeben einen einzelnen goal-String; Alter startet eine interne Task-Schleife, die UI-Tools aufruft, bis die Aufgabe erledigt ist oder Sie stoppen.

​
Parameter

Beispiel-Ziel:
Beispiel mit explizitem Fenster:

​
Aufruf

Ask Anything (Standard) — Computer Use ist standardmäßig für neue Sitzungen neben Flow und Ask User aktiviert. Fragen Sie in natürlicher Sprache:
„Nutze Computer Use, um das Bewerbungsformular in Safari auszufüllen, aber klicke nicht auf Absenden.“
Alters Parent-Agent ruft computer_use_task mit Ihrer Anfrage als goal auf. Tools Manager — Aktivieren Sie Computer Use (computer_use_task) für benutzerdefinierte Actions oder MCP-Workflows. Das Tool ist nur für LLM gedacht: vom Modell gewählt, nicht manuell mit festen Parametern.

​
Was der Agent tut

Wenn computer_use_task läuft, tut Alter:
  1. Erstellt Systemanweisungen für den Subagenten (AX-first-Workflow, Batching-Regeln, Sicherheitsbeschränkungen)
  2. Injiziert Live-Kontext — heutiges Datum, vorderstes Fenster-ID, Agent-Browser-Name und Ihr App-Profil
  3. Startet eine Hintergrundsitzung (Edge-Bar-Karte + optionale Live-Vorschau)
  4. Delegiert an die task-Primitive mit festem Tool-Set und 600 Sekunden Timeout
  5. Liefert eine Endantwort — vollständige extrahierte Daten bei Scrape-Zielen, kurze Bestätigung bei Aktionszielen
Der Subagent schleift selbst: Bildschirm lesen → handeln → neu lesen. Er hat keine Workspace-/Bash-/Datei-Tools; Nicht-UI-Arbeit bleibt beim Parent-Orchestrator.

​
Tool-Set im Subagenten

Vollständige Referenz: Computer Use エージェントツール.

​
AX-first-Workflow

Der Agent ist auf Accessibility-Text ausgelegt, nicht auf Pixel:
  1. read_screen_ax mit Ziel-windowID
  2. perform oder perform_sequence mit @elementID-Werten aus diesem Read
  3. Neu lesen nach Navigation, Dialogen, Scrollen oder Shortcuts
  4. computer_use_screenshot nur wenn das Ziel explizit Bilder braucht
Batching: Wenn mehrere Klicks/Fills Elemente aus dem selben Read treffen, sollte der Agent perform_sequence einmal nutzen statt vieler perform-Aufrufe. App-Guidance: Für Apps wie Taschenrechner, Discord, Spotify und X/Twitter kann read_screen_ax einen <appGuidance>-Block mit schnelleren Techniken enthalten.

​
Hintergrund vs. Vordergrund

Alle neuen Ziele sollten über computer_use_task laufen für automatische Hintergrundausführung.

​
Agent-Browser

Wenn Einstellungen → Computer use → Agent browser auf einen dedizierten Browser gesetzt ist, öffnet open_urls in Computer Use Seiten dort — nicht in Ihrem Alltagsbrowser.

​
Effektive Ziele schreiben

​
Apps und Einschränkungen explizit benennen

​
Negative Einschränkungen

Der Agent respektiert Anweisungen, nicht zu senden, veröffentlichen, kaufen oder zu bestätigen.

​
Extraktion vs. Aktion

​
Manuelle Tool-Kette (Power-User)

Vor dem Task-Agenten wurden Primitive explizit verkettet: get_active_app_context → perform → scroll → wait. Das funktioniert weiter in Tools Manager für einen deterministischen Schritt. Für mehrstufige UI-Arbeit ist computer_use_task stark bevorzugt. Primitive-Referenzen:

​
Einstellungen und Berechtigungen

  • Einstellungen → Computer use — Agent-Browser, Vorschau, blockierte Apps (Anleitung)
  • Einstellungen → Berechtigungen — Barrierefreiheit und Bildschirmaufnahme erforderlich
  • Einstellungen → Doctor — Diagnose von Berechtigungs- und Automatisierungsproblemen

​
Fehlerbehebung

Siehe バックグラウンド Computer Use, Tools funktionieren nicht und Integrations-Fehlerbehebung.

​
Workflows

​
関連ドキュメント