Community Trust ScoreVérifié
Les programmes robotiques développés par l’agent de codage Claude Opus 5.5 d’Anthropic ont terminé 221 des 240 essais d’évaluation physique, atteignant un taux de réussite de 92,1 % sur huit tâches distinctes. L’étude, publiée le 12 novembre, détaille une méthode nommée ACE-CaP-0, où l’agent IA écrit, exécute, inspecte et révisé le code en utilisant des retours physiques, mais est exclu de la boucle d’exécution lors de l’évaluation finale.
La rubrique Technologie suit le même sujet.
Code figé dans les essais physiques
La configuration expérimentale a utilisé deux bras Agilex PIPERX et trois caméras pour effectuer des tâches physiques telles que l’insertion d’un chargeur, l’ouverture d’une bouteille et l’emballage de chaussures. Pour chacune des huit tâches, l’agent de codage a produit un programme qui a été figé avant 30 essais d’évaluation distincts. Aucune mise à jour supplémentaire du code n’a eu lieu pendant ces essais, et ni un humain ni un agent de codage n’est resté dans la boucle d’exécution. Les programmes ont fait appel à des systèmes de perception et de contrôle en direct pour répondre aux observations, tandis que leurs règles de décision sont restées fixes.
Pendant la phase de développement, l’agent avait accès à des conseils et des démonstrations humaines. Il pouvait demander des conseils textuels ou des démonstrations physiques d’une personne. Ces démonstrations ont fourni des vidéos, des trajectoires de bras et des poses articulaires clés. Le processus de développement a permis un maximum de dix réinitialisations de scène assistées par un humain par tâche, bien que les réinitialisations utilisées spécifiquement pour collecter des démonstrations aient été exclues de ce budget. Le budget comptait les réinitialisations de scène plutôt que le nombre total d’exécutions du robot ou de démonstrations.
Performance et impact de la simulation
L’insertion du chargeur s’est avérée être la tâche la plus forte, réussissant dans les 30 essais. L’emballage du pain a enregistré le résultat le plus faible, avec 25 essais réussis. Les temps d’exécution physique moyens sur les tâches ont varié d’un minimum de 0,97 minute à un maximum de 2,27 minutes. Les données indiquent que les programmes figés étaient capables d’une exécution physique constante sans intervention IA en temps réel.
L’étude a également comparé les résultats de développement avec et sans simulation à la demande. Pour la tâche d’insertion du chargeur, le programme développé avec simulation à la demande a atteint 100 % de réussite à l’évaluation, tandis que le programme développé sans simulation a atteint 86,7 % de réussite. Cette comparaison a utilisé une exécution de développement par condition. Le développement a pris 2,6 heures avec simulation à la demande, par rapport à 3,7 heures sans. Cependant, l’utilisation de la simulation a augmenté l’utilisation des jetons de sortie de 730 000 à 1 090 000. Les chercheurs notent que les coûts totaux de développement devraient tenir compte de l’effort impliqué dans les démonstrations, un facteur qui varie entre les conditions.
