Skip to main content
Nutzen Sie dieses Tool für konkrete UI-Interaktionen nach dem Identifizieren von Zielen mit Get Active App Context.
Für mehrstufige UI-Arbeit bevorzugen Sie den Computer Use-Agenten (computer_use_task), der perform und perform_sequence automatisch aufruft.

Unterstützte Aktionen

  • click: Klick auf Zielelement (Standard).
  • fill: Text in Feld/Textarea mit elementID eingeben.
  • type: Roh-Tastatureingaben ohne elementID (z. B. Taschenrechner).
  • shortcut: Tastenkürzel senden (z. B. cmd+c).

Eingaben

  • action (optional): click, fill, type, or shortcut (Standard click).
  • elementID (erforderlich für click and fill): Element-ID aus Get Active App Context.
  • text (erforderlich für fill and type): Wert oder Tastatureingaben.
  • shortcut (erforderlich für shortcut): Shortcut-String.
  • windowID (optional): Bestimmtes Fenster (pid/title) statt aktives.

Hinweise

  • Element-IDs verfallen bei UI-Änderungen.
  • Gleiches windowID für Hintergrundfenster in allen Schritten.

Siehe auch