ChatGPT devient étrange avec les gobelins, OpenAI doit interdire leur mention

OpenAI a fait quelque chose d’assez inhabituel. Les ingénieurs ont modifié le code de production de ChatGPT pour ajouter une règle : ne jamais mentionner les gobelins.

L’entreprise a mené une analyse post-mortem après avoir remarqué que le chatbot évoquait sans cesse ces créatures mythiques dans des conversations où elles n’avaient pas leur place. Les utilisateurs ont commencé à le signaler. ChatGPT orientait d’une manière ou d’une autre les discussions vers les gobelins, quel que soit le sujet. L’équipe d’OpenAI a donc décidé que la solution la plus simple était une interdiction codée en dur dans les instructions du modèle.

Pourquoi les gobelins apparaissaient-ils si souvent

Personne ne sait vraiment comment cette fixation a commencé. Les modèles de langage apprennent des motifs à partir de vastes ensembles de données et, parfois, ils s’accrochent à des choses inattendues. ChatGPT a développé ce que les ingénieurs appelaient en interne une « obsession » pour les gobelins. Ces créatures apparaissaient dans des réponses sur la finance, la cuisine, le voyage—basiquement partout où l’IA pouvait les insérer.

Ce n’étaient pas de simples mentions occasionnelles. La fréquence était suffisamment élevée pour que les systèmes de surveillance d’OpenAI la signalent comme un comportement anormal. Les utilisateurs se plaignaient. Certains trouvaient cela amusant. D’autres trouvaient cela agaçant. Mais le schéma était clair : le modèle avait développé un biais vers la référence aux gobelins qui ne correspondait pas à la fréquence de ce sujet dans une conversation normale.

L’équipe a d’abord essayé des solutions plus douces. Ils ont ajusté les poids d’entraînement. Ils ont modifié le retour d’apprentissage par renforcement. Rien ne fonctionnait de manière cohérente. Les références aux gobelins revenaient sans cesse. Ils ont donc pris une mesure radicale et ajouté une commande spécifique dans le code de production lui-même.

Interdiction codée en dur

La commande est simple. Elle dit au modèle d’éviter de mentionner les gobelins entièrement. Ce type d’intervention directe n’est pas une pratique standard. Habituellement, le comportement de l’IA est façonné par les données d’entraînement et les modèles de récompense, pas par des interdictions explicites écrites dans le code. Mais parfois, il faut juste une règle qui dit « ne fais pas cette chose spécifique ».

OpenAI n’a pas partagé la formulation exacte de la commande. Mais c’est probablement quelque chose comme une instruction au niveau du système qui surpasse les tendances naturelles de sortie du modèle. Pensez-y comme un filtre qui intercepte les mentions de gobelins avant qu’elles n’atteignent les utilisateurs.

La solution a fonctionné. ChatGPT a cessé de parler des gobelins. Problème résolu, du moins pour ce cas étrange.

Mais la solution soulève des questions sur combien d’autres règles codées en dur pourraient se cacher dans le code de ChatGPT. Y a-t-il d’autres sujets que le modèle est explicitement interdit de discuter ? OpenAI n’a pas commenté cela. Ils ont seulement confirmé l’interdiction des gobelins après que les utilisateurs ont remarqué des références à celle-ci dans la documentation.

L’ensemble de l’épisode met en lumière l’imprévisibilité des grands modèles de langage. Vous les entraînez sur des milliards de mots, et parfois ils développent des fixations étranges que personne n’avait anticipées. L’affaire des gobelins semble inoffensive. Mais elle montre comment même des bizarreries mineures peuvent nécessiter un effort d’ingénierie significatif pour être corrigées.

Ce que cela signifie pour la surveillance de l’IA

L’incident des gobelins peut sembler trivial. C’est même plutôt drôle, en fait. Mais il pointe vers un défi plus grand : comment surveiller et contrôler les systèmes d’IA qui peuvent développer des comportements inattendus ?

OpenAI effectue une surveillance continue des sorties de ChatGPT. Ils suivent les motifs, signalent les anomalies et enquêtent lorsque quelque chose semble décalé. La fixation sur les gobelins a été détectée parce qu’elle se produisait assez fréquemment pour déclencher des alertes. Mais qu’en est-il des biais ou fixations plus subtils qui ne se manifestent pas aussi clairement dans les données ?

L’entreprise n’a pas dit si des problèmes similaires ont surgi avec d’autres sujets. Peut-être que oui. Peut-être que ChatGPT a traversé une phase où il ne cessait de parler de furets ou mentionnait trop souvent des figures historiques spécifiques. Nous ne le savons pas car OpenAI ne publie généralement pas chaque comportement étrange qu’ils ont dû corriger.

Ce que nous savons, c’est que gérer le comportement de l’IA nécessite une attention constante. Les modèles ne fonctionnent pas parfaitement après l’entraînement. Ils nécessitent des ajustements continus, une surveillance, et parfois des interventions brutales comme des interdictions codées en dur.

La décision d’être transparent sur la correction des gobelins est intéressante. OpenAI aurait pu corriger cela discrètement sans rien dire. Au lieu de cela, ils l’ont reconnu, ce qui donne à la communauté de recherche en IA un rare aperçu de la réalité complexe du déploiement de modèles de langage à grande échelle.

Certains chercheurs pensent que ce type de transparence est précieux. Cela aide d’autres équipes à anticiper des problèmes similaires. Cela montre que même les systèmes d’IA les plus avancés peuvent se comporter de manière bizarre que personne n’avait prédite lors du développement.

D’autres s’inquiètent du précédent. Si OpenAI code en dur des interdictions de sujets dans ChatGPT, que filtrent-ils d’autre ? L’entreprise a des politiques contre la génération de certains types de contenu—violence, activités illégales, matériel explicite. Mais ce sont des garde-fous éthiques que tout le monde attend. Une interdiction de mentionner les gobelins est différente. C’est une correction comportementale pour une bizarrerie de l’IA, pas une mesure de sécurité.

La frontière entre corriger des bugs et contrôler les sorties devient floue. Quand la tendance d’une IA à mentionner quelque chose trop souvent devient-elle un problème nécessitant une intervention ? Qui décide ? OpenAI a pris la décision pour les gobelins. Mais la même logique pourrait s’appliquer à tout sujet sur lequel le modèle se fixe.

Aucune nouvelle pour l’instant sur le fait qu’OpenAI envisage de documenter d’autres règles codées en dur ou de les rendre publiques. Pour l’instant, l’interdiction des gobelins reste une note de bas de page étrange dans l’histoire du développement de ChatGPT—et un rappel que les systèmes d’IA peuvent surprendre même leurs créateurs.