Skip to main content
Utilisez cet outil pour exécuter des interactions concrètes avec l’interface utilisateur après avoir identifié les cibles avec Get Active App Context.
Pour un travail UI en plusieurs étapes, préférez l’agent Computer Use (computer_use_task), qui appelle perform et perform_sequence automatiquement. Consultez la référence des outils agent pour les règles de regroupement.

​
Actions prises en charge

  • click : cliquez sur un élément cible (par défaut).
  • fill : saisissez du texte dans un champ ou une zone de texte identifié par elementID.
  • type : saisissez des frappes brutes dans l’élément ayant le focus clavier — pas besoin de elementID (utile pour les apps sans champ remplissable, par ex. une expression complète dans Calculatrice).
  • shortcut : envoyer des raccourcis clavier (par exemple cmd+c, ctrl+shift+t).

​
Entrées

  • action (facultatif) : click, fill, type ou shortcut (par défaut click).
  • elementID (obligatoire pour click et fill) : ID d’élément de la sortie Get Active App Context.
  • text (obligatoire pour fill et type) : valeur à insérer ou frappes à saisir.
  • shortcut (obligatoire pour shortcut) : chaîne de raccourci.
  • windowID (facultatif) : ciblez une fenêtre spécifique (pid/title) au lieu de celle active.

​
Remarques

  • Les ID d’élément expirent avec les modifications de l’interface utilisateur et la durée de la session. Relisez le contexte si un élément n’est plus valide.
  • Pour le ciblage de la fenêtre d’arrière-plan, utilisez le même windowID dans toutes les étapes de lecture et d’exécution du contexte.

​
Bon accord