Computer Use dans DCode : un agent qui sait se servir de vos applications de bureau

Certaines tâches quittent le terminal. Il faut cliquer dans une fenêtre de réglages pour voir si un changement a pris, un outil de bureau n'a ni API ni ligne de commande, un tableau de bord interne n'existe qu'à l'écran. Avec Computer Use, sa fonction d'utilisation de l'ordinateur, DCode voit votre écran et se sert des applications qui s'y trouvent : il clique, tape et lit ce qui s'affiche vraiment.

À quoi sert Computer Use?

• Tester un changement dans une application en s'en servant, pas seulement en lisant son code.
• Les outils sans API ni ligne de commande : tableaux de bord internes, logiciels de bureau, systèmes plus anciens.
• Le travail répétitif dans une application, que vous préférez décrire une fois plutôt que de le refaire à coups de clics.

Quand une tâche n'a pas besoin de l'écran, le travail direct dans le projet est plus rapide. Pour les pages Web, DCode a son propre navigateur intégré.

Comment se déroule une étape de Computer Use?

Vous décrivez la tâche dans la conversation, en mots simples, par exemple « ouvre la fenêtre des réglages de l'application et vérifie que le thème sombre s'applique ». DCode s'y prend ensuite comme vous le feriez : il regarde l'écran, clique et tape, puis lit ce que l'application affiche en retour.

Où fonctionne Computer Use?

Dans l'application de bureau DCode. Computer Use fait partie de DCode sous Windows depuis DCode 1.0, le 1er octobre, et depuis DCode 2.0.1, le 29 octobre, il est activé par défaut, prêt dès une nouvelle installation, sous Windows comme sous macOS.

Comment donner à DCode les deux autorisations macOS?

Sur Mac, Computer Use a besoin de deux autorisations dans les Réglages Système :

• Accessibilité, pour que DCode puisse cliquer et taper dans les applications à votre place.
• Enregistrement de l'écran, pour que DCode puisse voir ce qui est à l'écran.

Depuis DCode 2.0.3, la visite de premier lancement demande les deux, et vous pouvez les donner plus tard. Si une tâche en a besoin avant :

1. DCode affiche Computer Use a besoin d'autorisations macOS. Choisissez Autoriser.
2. Suivez le guide, puis autorisez DCode sous Accessibilité et sous Enregistrement de l'écran dans les Réglages Système.
3. Si les deux sont données et que Computer Use ne fonctionne toujours pas, choisissez Redémarrer le Helper, puis Redémarrer DCode.

DCode demande-t-il avant de se servir de mon écran?

Cela dépend du mode de permission que vous choisissez pour la session, le même choix qui décide de ce que DCode fait par lui-même. Quand il demande, la carte offre trois réponses :

• Autoriser : aller de l'avant cette fois-ci.
• Toujours autoriser Computer Use dans ce projet : ne plus demander pour Computer Use dans ce projet.
• Refuser : DCode ne le fait pas.

Surveillez ce que fait DCode, et arrêtez la tâche dès qu'il s'apprête à faire une étape que vous ne feriez pas vous-même. Les mots de passe, les opérations bancaires et tout ce que vous ne confieriez pas à un collègue se font mieux à la main.

Comment désactiver Computer Use, ou le réactiver?

Ouvrez Paramètres, Computer Use. Activer Computer Use l'active ou le désactive, avec ses outils et ses compétences. Afficher le bouton Computer Use dans le composeur ajoute un bouton Computer Use à côté de la zone de message; il est désactivé au départ.

Une équipe d'agents peut-elle se servir de l'écran?

Oui, un agent à la fois. Quand une équipe d'agents travaille sur une tâche, l'agent qui a besoin de l'écran attend son tour, et sa carte dans le panneau Équipe indique Attend l'écran jusque-là.

Qu'advient-il de ce que DCode voit?

Ce que DCode voit à l'écran fait partie de votre conversation, et c'est traité comme le reste de votre contenu, selon notre politique de confidentialité.

Computer Use est inclus dans DCode, qui se télécharge gratuitement pour Windows et macOS sur la page de téléchargement. Tout ce que fait DCode est sur la page DCode.