Skip to main content
L’utilisation de l’ordinateur est la couche d’automatisation UI d’Alter pour macOS. Au lieu de chaîner vous-même des outils bas niveau, décrivez en langage naturel ce que vous voulez et l’agent Computer Use (computer_use_task) lit les arbres d’accessibilité, clique, fait défiler, ouvre des apps et renvoie le résultat. Depuis 2.0.0-beta100, Computer Use s’exécute en arrière-plan par défaut : vous continuez à travailler pendant que l’agent opère une fenêtre cible, avec aperçu en direct et carte de session Edge Bar. Voir Computer Use en arrière-plan.

​
L’agent computer_use_task

Computer Use est un subagent basé sur un objectif. Vous passez une seule chaîne goal ; Alter lance une boucle de tâche interne qui appelle les outils UI jusqu’à la fin du travail ou votre arrêt.

​
Paramètres

Exemple d’objectif :

​
Comment l’invoquer

Ask Anything (par défaut) — Computer Use est activé par défaut pour les nouvelles sessions avec Flow et Ask User. Demandez en langage naturel :
« Utilise Computer Use pour remplir le formulaire de candidature dans Safari mais ne clique pas sur Soumettre. »
L’agent parent d’Alter appelle computer_use_task avec votre demande comme goal. Tools Manager — Activez Computer Use (computer_use_task) pour des Actions personnalisées ou des workflows MCP. L’outil est LLM uniquement : choisi par le modèle, pas exécuté manuellement en règle générale.

​
Ce que fait l’agent

Quand computer_use_task s’exécute, Alter :
  1. Construit des instructions système pour le subagent
  2. Injecte le contexte en direct — date du jour, ID de fenêtre au premier plan, navigateur agent, profil d’apps
  3. Démarre une session en arrière-plan (carte Edge Bar + aperçu optionnel)
  4. Délègue à la primitive task avec un ensemble d’outils fixe et un timeout de 600 secondes
  5. Renvoie une réponse finale
Le subagent boucle : lire l’écran → agir → relire. Il n’a pas d’outils workspace/bash/fichier.

​
Ensemble d’outils dans le subagent

Référence complète : Outils agent Computer Use.

​
Workflow AX-first

L’agent est réglé pour le texte d’accessibilité, pas les pixels :
  1. read_screen_ax avec windowID cible
  2. perform ou perform_sequence avec les valeurs @elementID
  3. Relire après navigation, dialogues, défilement ou raccourcis
  4. computer_use_screenshot seulement si l’objectif exige des images
Regroupement : Quand plusieurs clics/fills ciblent des éléments visibles dans la même lecture, l’agent doit utiliser perform_sequence une fois.

​
Arrière-plan vs premier plan

Tous les nouveaux objectifs devraient passer par computer_use_task. Si Paramètres → Computer use → Navigateur agent pointe vers un navigateur dédié, open_urls dans Computer Use ouvre les pages là — pas dans votre navigateur quotidien.

​
Rédiger des objectifs efficaces

​
Nommez apps et contraintes explicitement

Incluez ce qu’il ne faut pas faire (soumettre, envoyer, publier).

​
Extraction vs action

​
Chaîne d’outils manuelle (utilisateurs avancés)

Avant l’agent de tâche : get_active_app_context → perform → scroll → wait. Ce modèle fonctionne encore dans Tools Manager pour une étape déterministe. Pour du travail UI multi-étapes, computer_use_task est fortement préféré. Références primitives :

​
Paramètres et permissions

  • Paramètres → Computer use — navigateur agent, aperçu, apps bloquées (guide)
  • Paramètres → Permissions — Accessibilité et Enregistrement d’écran requis
  • Paramètres → Doctor — diagnostiquer permissions et automatisation

​
Dépannage

Voir Computer Use en arrière-plan, Les outils ne fonctionnent pas.

​
Flux de travail

​
Docs associées