Community Trust ScoreVérifié
Treize configurations d’agents IA testées par UniPat AI ont montré un accord plus fort entre elles que avec les résultats expérimentaux mesurés, selon une étude soumise à arXiv le 11 novembre. La recherche, intitulée « Science Prediction Universe », a évalué dans quelle mesure ces systèmes pouvaient classer les résultats expérimentaux dans les domaines de la chimie, des sciences des matériaux, de la biologie et de la médecine.
La rubrique Technologie suit le même sujet.
Écart de corrélation
L’étude a examiné 13 configurations d’agents construites à partir de 12 modèles différents, chacune combinant un modèle spécifique, un paramètre de raisonnement et un logiciel d’agent. Les agents devaient classer des expériences spécifiées selon des métriques telles que le rendement ou la conductivité, sans tenter de prédire des valeurs numériques spécifiques. Un classement parfait qui correspond aux mesures obtient un score de 1, tandis que les classements aléatoires ont une moyenne de 0.
Sur 100 tâches publiques, l’accord moyen entre les configurations notées a atteint une corrélation de rang de Spearman de 0,52. En revanche, l’accord moyen par rapport aux résultats mesurés réels était de 0,33. Cette divergence était cohérente pour la majorité de l’ensemble de test, l’accord des agents dépassant leur corrélation avec les mesures sur 81 des 100 tâches publiques. Les auteurs notent que ces chiffres décrivent à quel point les ordres correspondent, plutôt que le pourcentage de réponses correctes.
La mise en commun des prédictions des différents systèmes a produit un classement consensuel qui a obtenu un score de 0,08 point au-dessus de la soumission individuelle moyenne. Cette approche consensuelle a amélioré les résultats sur 73 des 100 tâches publiques, avec un intervalle de confiance de 95 % pour le gain allant de 0,05 à 0,11 point. Les auteurs affirment que la moyenne peut réduire les erreurs qui diffèrent entre les systèmes tout en conservant les erreurs communes, suggérant que les erreurs partagées sont liées à des hypothèses simples sur la manière dont les résultats expérimentaux devraient augmenter ou diminuer.
Ensemble privé et limites des modèles
Le benchmark incluait 16 tâches privées couvrant quatre séries expérimentales non publiées. Sur 208 exécutions privées officielles, 159 ont été notées. Douze des 13 configurations ont classé les expériences non publiées de manière significativement meilleure que le hasard dans l’ensemble. Cependant, le chevauchement de la notation entre les configurations était limité. Les 13 configurations partageaient seulement 28 tâches notées, comprenant 27 tâches publiques et une tâche privée.
Des modèles spécifiques ont rencontré des limitations importantes dans l’ensemble public. Claude Opus 5.5 avait des scores sur seulement 44 tâches publiques, tandis que Claude Fable 5.1 avait des scores sur seulement 30 tâches publiques. L’étude attribue largement ces faibles compteurs aux refus de sécurité par les modèles. Malgré ces limitations, le meilleur système individuel du benchmark a battu le consensus de ses pairs sur les tâches correspondantes. De plus, les tâches avec un plus grand accord entre les agents tendaient à avoir de meilleures prédictions.
L’écart entre l’accord des agents et la réalité était marqué dans des cas spécifiques. Sur une tâche d’oncologie, onze configurations étaient d’accord avec un score de 0,9, mais leur score moyen par rapport aux mesures réelles n’était que de 0,27. Les tâches publiques regardaient en arrière vers des mesures publiées et ont été sélectionnées après des évaluations pilotes. L’étude n’a utilisé aucune ligne de base de prédiction humaine, et les auteurs soulignent que les mesures de laboratoire sont toujours nécessaires pour vérifier les réponses. Les résultats ont été publiés le 12 novembre.
