Community Trust ScoreProbablement Réel
Six des plus grands noms de l’intelligence artificielle — Nvidia, OpenAI, Anthropic, Google, Meta et xAI — ont accepté d’ouvrir leurs modèles à des audits externes. Le président Donald Trump a qualifié cet accord de « moralement contraignant ». Mais moralement contraignant n’est pas légalement contraignant, et pour l’instant, rien n’empêche réellement ces entreprises de faire ce qu’elles veulent.
Pourquoi c'est important
L'accord d'audit entre ces géants de l'intelligence artificielle soulève des questions cruciales sur la transparence et la responsabilité dans un secteur en pleine expansion. À une époque où l'IA influence de plus en plus de domaines, du travail au quotidien à la prise de décision stratégique, il est impératif que des mécanismes de contrôle rigoureux soient établis pour éviter les dérives potentielles. Le manque de clarté sur les modalités de ces audits pourrait miner la confiance du public et des régulateurs, exacerbant les craintes liées à l'utilisation éthique de ces technologies.
L’accord est mince. Personne n’a précisé qui choisit les auditeurs. Personne n’a défini ce que ces auditeurs peuvent réellement examiner. Et il n’y a aucune pénalité — zéro — si une entreprise décide d’ignorer le tout. Les membres du conseil d’administration sont censés examiner les résultats des audits, ce qui semble sérieux jusqu’à ce que l’on réalise que c’est à peu près aussi contraignant qu’une promesse du petit doigt.
Le fantôme d’Enron hante cet accord
La configuration semble étrangement familière à quiconque se souvient d’Enron. En 2000, Enron a payé Arthur Andersen 25 millions de dollars pour des services d’audit et 27 millions de dollars supplémentaires pour d’autres travaux. La relation était confortable. Trop confortable. Les deux entreprises se sont effondrées en moins de deux ans, et les conséquences ont été suffisamment graves pour que le Congrès adopte la loi Sarbanes-Oxley, qui a retiré aux dirigeants d’entreprise le pouvoir de choisir les auditeurs. La leçon était claire : on ne peut pas laisser ceux qui sont audités choisir qui les audite.
L’industrie de l’IA semble réapprendre cette leçon à la dure. Un examen de 2023 a analysé 16 entreprises d’IA et a trouvé un score moyen de conformité de seulement 53 % sur leurs engagements volontaires. Sur la promesse spécifique de laisser des chercheurs indépendants signaler des problèmes, huit entreprises sur 16 ont obtenu un score de zéro. Pas bas. Zéro.
Ce n’est pas un écart mineur de conformité. C’est la plupart de la classe qui échoue au test.
Ce qui fonctionne réellement — et ce qui ne fonctionne pas
Il y a eu quelques progrès réels du côté des tests, pour être juste. Google DeepMind a mené une évaluation en double aveugle avec l’Institut de sécurité de l’IA de Singapour et quelques autres partenaires. Le design était astucieux : les testeurs ne pouvaient pas voir le modèle directement, et l’entreprise ne pouvait pas voir les questions du test. C’est une véritable tentative d’intégrer l’indépendance sans remettre les clés.
Mais ce n’est pas parfait. Tout dépend de matériel informatique sécurisé pour garder les deux parties séparées. Et l’année dernière, des chercheurs ont montré que ce type de matériel peut être compromis avec un minimum de ressources. Ainsi, la méthode censée résoudre le problème de sécurité en introduit un nouveau. Pas vraiment rassurant.
METR, une organisation à but non lucratif, a effectué des tests limités sur le modèle o3 d’OpenAI. Limité est le mot clé. Le délai était court. L’accès aux informations sur le fonctionnement réel du modèle était restreint. Il est difficile de faire un travail approfondi quand on travaille avec une main attachée dans le dos et une horloge qui tourne.
Une étude avec des chercheurs de Stanford, Harvard et Brown a révélé que l’adhérence des entreprises d’IA à leurs propres engagements était très variable. Les scores de transparence étaient incohérents. Le signalement des problèmes était faible. L’écart entre ce que les entreprises promettaient et ce qu’elles livraient était, dans de nombreux cas, assez large.
À quoi ressemblerait une véritable solution
Kyle Bligen a coécrit un rapport intitulé « Alternatives to Concentrated AI » qui plaide de manière simple : un examen externe ne nécessite pas un accès direct aux modèles. Les auditeurs peuvent faire un travail significatif sans obtenir une copie complète du système. Cela est important car l’une des principales excuses de l’industrie pour limiter les audits est la protection de la propriété intellectuelle. Si vous pouvez évaluer le modèle sans le toucher, cette excuse s’affaiblit.
Pour que les audits aient un sens, quelques changements sont nécessaires. Les auditeurs devraient établir leurs propres critères d’évaluation — ne pas suivre les directives des entreprises qui paient pour le processus. Les entreprises devraient au minimum divulguer qui sont leurs auditeurs et ce que couvre l’audit. Les résultats détaillés peuvent rester confidentiels si nécessaire, mais la structure de base devrait être visible, comme c’est le cas pour les entreprises publiques déposant auprès des régulateurs.
Et quelqu’un doit surveiller les auditeurs eux-mêmes. Actuellement, il n’existe pas d’équivalent au Public Company Accounting Oversight Board, que Sarbanes-Oxley a créé pour surveiller les auditeurs financiers. Personne ne vérifie si les audits de l’IA sont rigoureux, impartiaux ou même achevés. L’accord actuel ne touche à aucun de ces aspects.
Les engagements volontaires que ces entreprises ont pris envers la Maison-Blanche en 2023 ont déjà montré les limites de cette approche. Les experts externes étaient censés avoir accès aux systèmes de test avant leur mise sur le marché. Cela semblait significatif. Puis le score moyen de conformité de 53 % est apparu, ainsi que les huit sur 16 zéros sur le signalement indépendant des problèmes, et il est devenu clair que « censé » faisait beaucoup de travail.
Il faudra probablement une législation. Le secteur financier n’a pas assaini l’audit par des engagements volontaires — il a fallu un scandale massif et une loi du Congrès. L’industrie de l’IA mène actuellement une expérience similaire, avec des problèmes structurels similaires et des incitations similaires à détourner le regard. La méthode en double aveugle est véritablement prometteuse. Le travail de METR sur o3 est un début. Mais un début n’est pas un système, et un accord moralement contraignant sans mécanisme d’application n’est pas vraiment contraignant du tout.
Le score moyen de conformité parmi ces 16 entreprises était de 53 %.
Questions Fréquentes
Quelles entreprises ont signé l’accord d’audit IA ?
Nvidia, OpenAI, Anthropic, Google, Meta et xAI se sont tous engagés à permettre des audits externes de leurs modèles d’IA dans le cadre de l’accord que le président Trump a qualifié de « moralement contraignant ».
Que révèle l’examen de 2023 sur les engagements de transparence des entreprises d’IA ?
Un examen de 16 entreprises a révélé un score moyen de conformité de 53 %, et huit entreprises sur 16 ont obtenu un score de zéro sur la promesse spécifique de permettre le signalement indépendant des problèmes.
