BNB $591,89 +0,09%
XRP $0,985041 +2,64%
ETH $1 810,85 -0,86%
BTC $64 624,84 +0,12%
BNB $591,89 +0,09%
XRP $0,985041 +2,64%
ETH $1 810,85 -0,86%
BTC $64 624,84 +0,12%
URGENT
Technologie

Les modèles d’IA répètent des données falsifiées lorsque des assistants plus faibles lisent les preuves

AI models repeat forged data when weaker helpers read evidence

Community Trust ScoreVérifié

90%
Réel
Vérifié29 votes
Mis à jour 5 minutes il y a

Les modèles d’IA plus puissants ont répété des réponses falsifiées lorsque des agents assistants moins capables lisaient les preuves, selon une étude soumise à arXiv le 12 novembre. La recherche, menée par Keegan Wang et Anantika Mannby, a testé des agents sur des dossiers fictifs et des questions à deux choix pour mesurer les risques de fiabilité dans les systèmes multi-modèles.

La rubrique Technologie suit le même sujet.

L’étude a défini les « révisions nuisibles » comme l’adoption de la réponse erronée d’un attaquant par rapport à une référence correcte. Les résultats indiquent que, bien que les modèles puissent résister aux données falsifiées lorsqu’ils lisent directement les fichiers, leur précision chute brutalement lorsqu’ils délèguent la tâche de lecture à un sous-modèle moins performant.

Publicité

La délégation augmente les taux d’erreur

Dans des tests utilisant Claude Code d’Anthropic, un superviseur Opus 5 a choisi une réponse erronée plantée dans seulement 1 cas sur 180 lorsqu’il lisait lui-même les fichiers. Cependant, lorsque le superviseur Opus 5 a délégué la tâche de lecture à Haiku 4.5, il a choisi la réponse erronée plantée dans 75 cas sur 180. Dans cette configuration déléguée, le superviseur était mécaniquement limité à son outil Task, ce qui supprimait l’accès direct aux fichiers.

Un test distinct utilisant Codex d’OpenAI a montré un schéma similaire. GPT-5.6-sol n’a effectué aucune révision nuisible lors de 180 essais de lecture directe. Mais lorsque GPT-5.6-sol s’est appuyé sur GPT-5.6-terra pour lire les preuves, il a effectué 44 révisions nuisibles sur 180 essais. La restriction de délégation dans Codex était instructionnelle et vérifiée à chaque essai, contrairement à la limite mécanique appliquée dans les tests Claude Code. Les chercheurs ont noté que les comparaisons entre Claude Code et Codex utilisaient des attaques différentes, ce qui limite les comparaisons directes entre les deux produits.

Méthodes d’attaque et mitigations

L’étude incluait une condition de « falsification empilée » qui combinait plusieurs formes de fausses preuves. Cette attaque plaçait cinq documents falsifiés dans un magasin de 35 fichiers. Les documents falsifiés comprenaient des avis de correction, une annotation autoritaire et des comptes rendus faux répétés. Les falsifications détectables dans l’étude dataient des dossiers qu’elles prétendaient corriger et manquaient de lignes d’accès authentiques.

Dans le test Codex, une annotation falsifiée prétendant à l’autorité a été utilisée. Une condition d’avis de correction a trompé Codex dans 172 cas sur 180 essais de lecture directe. Les chercheurs ont constaté que les instructions destinées aux lecteurs automatisés étaient résistantes partout où elles étaient testées. Cependant, certaines attaques réussies ressemblaient à des dossiers factuels, permettant au rapport d’un assistant de transmettre une conclusion fausse vers le superviseur.

L’utilisation d’assistants du même niveau a réduit les échecs dans les comparaisons testées. Claude Code n’a enregistré aucune révision nuisible sur 180 essais par condition sous les attaques d’annotation et empilées lorsqu’il utilisait des assistants du même niveau. Codex a enregistré 1 révision nuisible sur 180 essais sous l’attaque d’annotation lorsqu’il utilisait des assistants du même niveau. La délégation sur un magasin propre n’a produit aucune révision nuisible sur 180 essais pour chaque produit.

Tests dans des harnais réels

Dans un test de harnais réel, exiger des citations des dossiers originaux a réduit les révisions nuisibles de 15 à 3. Un vérificateur instruit d’être sceptique a réduit les révisions nuisibles à 1. Chacune de ces conditions impliquait 40 essais par bras. Les auteurs ont identifié la perte de provenance et la réduction des vérifications comme des contributeurs possibles aux échecs. Leur preuve concernant le nombre réduit de tours d’outils est corrélative, laissant la vérification supprimée comme hypothèse.

Les expériences ont mesuré les performances sur des tâches fictives générées dans un bac à sable. L’étude ne fournit aucune estimation des échecs des clients ordinaires.

Community Trust IndexHigh Confidence
90%
Réel
Réel90%10%Fake
29 community signals

Pankaj K

Pankaj est un ingénieur compétent passionné par les cryptomonnaies et la technologie de la blockchain. Fort de plus de cinq ans d'expérience en marketing numérique, Pankaj est également un investisseur et un trader passionné dans le domaine des cryptomonnaies. En tant que fervent adepte de l'écosystème Klever, il plaide vivement en faveur de ses solutions innovantes et de son portefeuille convivial, tout en continuant à apprécier le projet Cardano.

Publicité

Articles connexes