Jakub Pachocki d’OpenAI appelle à des normes de sécurité IA obligatoires face à la crise de complexité

Le scientifique en chef d’OpenAI souhaite des normes de sécurité obligatoires. Maintenant. Et la raison est plutôt inconfortable : les modèles avancés d’IA de l’entreprise sont devenus si complexes qu’OpenAI ne peut plus suivre entièrement ce qu’ils font à l’intérieur.

Jakub Pachocki a lancé cet appel publiquement, plaidant pour des exigences de sécurité contraignantes dans le développement de l’IA. Sa préoccupation principale n’est pas abstraite — elle est opérationnelle. OpenAI rencontre de réelles difficultés à surveiller les processus de raisonnement de ses modèles les plus avancés, et Pachocki pense que l’industrie ne peut pas simplement espérer le meilleur alors que cet écart se creuse. Les modèles évoluent plus rapidement que les outils de surveillance conçus pour les observer.

Ce n’est pas un petit problème.

Quand la boîte noire devient plus sombre

Le problème fondamental ici est l’interprétabilité — ou son absence. À mesure que les systèmes d’IA deviennent plus performants, la logique interne derrière leurs décisions devient plus difficile à suivre. Ce qui ressemble à un modèle « raisonnant » sur un problème est, à un certain niveau, une cascade de calculs que même les personnes qui ont construit le système ont du mal à déchiffrer complètement. L’appel de Pachocki pour des normes obligatoires est essentiellement une reconnaissance que cet écart entre capacité et compréhension a atteint un point où la prudence informelle ne suffit plus.

Il n’est pas le seul à penser cela. La communauté de recherche en IA au sens large se débat avec cela depuis des années — que se passe-t-il lorsque le processus de prise de décision d’un modèle devient réellement opaque, même pour ses créateurs ? L’inquiétude n’est pas seulement philosophique. Si vous ne pouvez pas prédire de manière fiable comment un système se comportera dans des cas limites, vous ne pouvez pas empêcher de manière fiable qu’il fasse quelque chose d’inattendu. Et plus le modèle est performant, plus les enjeux liés à ces actions inattendues sont élevés.

La situation d’OpenAI n’est probablement pas unique. C’est juste l’un des rares endroits où quelqu’un d’assez haut placé pour que cela compte l’a dit à haute voix.

Et c’est en quelque sorte le point que Pachocki semble vouloir faire — que cela doit cesser d’être une préoccupation interne discrète dans les laboratoires individuels et commencer à être un engagement structuré et exécutoire à l’échelle de l’industrie.

Ce qui est réellement proposé

Voici où les choses deviennent floues. Pachocki a été clair sur l’urgence. Il a été clair que des normes obligatoires sont nécessaires. Ce qu’il n’a pas précisé — et ce qu’OpenAI n’a pas détaillé —, c’est à quoi ces normes ressembleraient réellement dans la pratique.

En relation : Le Bitcoin face à une nouvelle menace alors que les modèles d’IA excellent dans la détection d’exploits

À lire aussi: Bitcoin fait face à une nouvelle menace alors que les modèles IA excellent dans la détection dexploits

Aucun calendrier. Aucun protocole spécifique. Aucun mécanisme d’application. L’entreprise n’a pas dit comment elle vérifierait la conformité, qui ferait la vérification, ou comment les normes proposées interagiraient avec le pipeline de développement existant d’OpenAI. C’est un grand écart entre « nous avons besoin de règles » et « voici les règles ».

On ne sait pas si Pachocki pousse pour quelque chose d’interne à OpenAI, quelque chose que l’industrie de l’IA au sens large devrait adopter volontairement, ou quelque chose qui nécessiterait l’intervention du gouvernement. Les trois voies ont des implications très différentes — pour la rapidité, pour l’applicabilité, pour les dynamiques concurrentielles entre les laboratoires. Aucun détail n’a encore été publié à ce sujet.

La communauté de l’IA attend probablement plus de précisions avant de savoir comment traiter sérieusement la proposition par rapport à la manière de traiter sérieusement l’avertissement qui la sous-tend.

Pourquoi ce moment semble différent

Il n’a pas manqué d’appels à la sécurité de l’IA ces dernières années. Ce qui rend les commentaires de Pachocki différents, c’est la source. Ce n’est pas un critique extérieur à l’industrie ou un chercheur dans une institution académique sans intérêt direct. C’est le scientifique en chef de l’un des laboratoires d’IA les plus influents au monde, et il dit publiquement que sa propre entreprise a du mal à superviser ce que ses modèles font.

C’est un aveu franc. C’est aussi un signal que le problème n’est plus hypothétique — il est opérationnel, il est actuel, et il se produit à l’avant-garde de la capacité de l’IA.

Pour les investisseurs, les développeurs, et quiconque construit sur ces modèles, cela compte. Si les personnes les plus proches de la technologie disent que la surveillance devient plus difficile, c’est une information pertinente. Cela devrait probablement inciter d’autres laboratoires à se demander s’ils ne font pas face au même problème et ne l’ont tout simplement pas encore dit.

L’absence d’un plan détaillé ne rend pas la préoccupation sous-jacente moins réelle. Le message de Pachocki est essentiellement : la complexité de ces systèmes a dépassé les cadres que nous avons pour les gérer, et cela doit changer avant que l’écart ne se creuse davantage.

OpenAI n’a pas dit quand elle s’attend à publier de nouvelles directives, n’a pas nommé un organisme de réglementation spécifique avec lequel elle travaille, et ne s’est pas engagée à un calendrier public pour l’une des mesures proposées. Ce qu’elle a fait, par l’intermédiaire de Pachocki, c’est mettre le problème sur le tapis — assez fort pour que d’autres laboratoires ne puissent probablement pas l’ignorer complètement.

Que cela se traduise par de véritables normes contraignantes, ou reste au niveau d’une préoccupation bien médiatisée, reste encore vraiment incertain.