ChatGPT détecte les crises alors qu’OpenAI s’efforce de repérer la détresse en temps réel

OpenAI vient de lancer une nouvelle fonctionnalité. ChatGPT peut désormais analyser les conversations pour détecter des signes de détresse. Cette fonctionnalité a été mise en ligne après une série d’incidents où des personnes ont envoyé des signaux de détresse en ligne sans que personne ne les remarque à temps.

La société n’a pas donné beaucoup de détails sur son fonctionnement, mais l’idée de base repose sur la reconnaissance de motifs. ChatGPT lit ce que vous écrivez, recherche certains indices et signale les conversations qui semblent anormales. L’objectif est de détecter des éléments qu’un humain pourrait manquer—des changements subtils de ton, des phrases répétées, le type de langage utilisé par les personnes en détresse. OpenAI a développé cette fonctionnalité en réponse à de véritables tragédies, des cas où quelqu’un a tendu la main à travers un écran sans recevoir de réponse. Le but est assez simple : repérer les signes avant-coureurs plus rapidement.

Comment fonctionne la détection

L’IA ne se contente pas de rechercher des mots-clés. Elle analyse le contexte. Une personne pourrait ne pas dire « J’ai besoin d’aide » directement, mais la façon dont elle formule les choses, le rythme de ses messages, le passage soudain d’une conversation normale à quelque chose de plus sombre—ChatGPT est maintenant formé pour détecter cela. OpenAI affirme que le système peut reconnaître quand une conversation prend une tournure qui suggère que quelqu’un est en difficulté, même s’il ne le dit pas explicitement.

C’est un grand changement. Les versions précédentes de ChatGPT pouvaient répondre à des questions, rédiger des essais, faire des blagues. Mais elles ne pouvaient pas savoir quand vous étiez en train de craquer. Maintenant, il y a au moins une tentative pour combler cet écart, pour donner à l’IA une sorte de radar émotionnel. Ce n’est pas parfait, et OpenAI ne prétend pas que ça le soit. Mais c’est un début.

La fonctionnalité a été mise en place rapidement. OpenAI n’a pas donné de long préavis ni de feuille de route détaillée. Ils ont vu le problème, construit l’outil, et l’ont déployé. C’est probablement parce que les enjeux sont élevés. Chaque jour, quelqu’un, quelque part, tape quelque chose de désespéré dans une fenêtre de chat, et jusqu’à présent, l’IA à l’autre bout n’avait aucun moyen de répondre autre que de générer plus de texte.

Que se passe-t-il après la détection

C’est là que les choses deviennent floues. OpenAI n’a pas expliqué ce que fait ChatGPT une fois qu’il détecte un signal de détresse. Alerte-t-il quelqu’un ? Offre-t-il des ressources ? Se contente-t-il de signaler la conversation pour une révision ultérieure ? La société n’a rien dit. C’est une lacune assez importante dans l’histoire, car la détection sans action n’aide pas beaucoup.

Il est possible qu’ils soient encore en train de régler cette partie. Déployer d’abord la fonctionnalité de détection a du sens si le mécanisme de réponse est plus compliqué—peut-être qu’il implique des modérateurs humains, peut-être qu’il se connecte à des lignes d’assistance en cas de crise, peut-être qu’il est spécifique à une région. Mais pour l’instant, les utilisateurs ne savent pas ce qui se passe ensuite. Et c’est un peu un problème.

Plus de contexte : Dune réduit de 25 % ses effectifs alors que le PDG Haga parie gros sur l’IA et la crypto institutionnelle

Le manque de détails ici est frustrant. On pourrait penser que si OpenAI voulait avoir un impact réel, ils expliqueraient tout le processus. Au lieu de cela, ils ont annoncé la mise à jour et laissé beaucoup de questions en suspens. Peut-être qu’ils s’inquiètent des faux positifs, ou peut-être qu’ils testent encore différentes approches. Quoi qu’il en soit, le silence est notable.

Certaines personnes verront probablement cela comme une intrusion. L’idée que l’IA lise vos messages pour détecter des signes de détresse semble intrusive, même si l’intention est bonne. OpenAI n’a pas abordé les préoccupations en matière de confidentialité dans l’annonce, et cela va déranger les utilisateurs qui ont déjà l’impression que les entreprises technologiques en savent trop. Il y a une ligne fine entre être utile et être inquiétant, et il n’est pas clair de quel côté de cette ligne se situe cette fonctionnalité.

Mais on peut aussi dire que c’est nécessaire. La communication numérique est l’endroit où beaucoup de gens passent leur temps maintenant, et c’est là qu’ils tendent la main quand les choses vont mal. Si l’IA peut capter quelque chose qu’un ami ou un membre de la famille pourrait manquer, cela vaut la peine d’être exploré. La question est de savoir si OpenAI peut le faire d’une manière qui semble respectueuse plutôt qu’intrusive.

Ce qui vient ensuite

OpenAI dit qu’ils travaillent sur plus de protections, mais ils n’ont pas donné de détails. Pas de délais, pas de listes de fonctionnalités, juste une vague allusion à des améliorations futures. C’est assez typique pour eux—annoncer quelque chose, voir comment ça se passe, itérer plus tard. Cela fonctionne pour le développement de produits, mais cela laisse les utilisateurs dans l’incertitude quant à ce qui s’en vient.

L’entreprise semble penser que l’intelligence émotionnelle est la prochaine frontière pour l’IA. Cela a du sens. Si ces outils vont être partout, ils doivent comprendre plus que la grammaire et les faits. Ils doivent capter le ton, l’humeur, l’urgence. La détection de détresse de ChatGPT est un pas dans cette direction, même si c’est un petit pas.

Mais c’est aussi un rappel que l’IA ne peut toujours pas remplacer le jugement humain. Une machine peut signaler une conversation, mais elle ne peut pas s’asseoir avec quelqu’un, parler avec lui à travers une crise, ou faire le genre de sauts intuitifs qui viennent de l’expérience vécue. OpenAI le sait probablement. La fonctionnalité n’est pas destinée à remplacer les thérapeutes ou les conseillers en crise—elle est censée détecter les choses avant qu’elles ne s’aggravent, pour gagner du temps pour que de l’aide réelle arrive.

Le déploiement est déjà en cours. Les utilisateurs ne remarqueront probablement rien de différent à moins que l’IA ne détecte quelque chose, et même dans ce cas, il n’est pas clair ce qu’ils verront. OpenAI n’a pas dit s’il y aurait des notifications, des invites, ou juste une consignation silencieuse en arrière-plan. Cette ambiguïté va alimenter la spéculation, et probablement un certain retour de bâton, jusqu’à ce que l’entreprise clarifie comment le système fonctionne réellement en pratique.

Pour l’instant, ChatGPT a un nouvel outil dans son arsenal. Que cela sauve des vies ou ajoute simplement une couche de surveillance dépend de la manière dont OpenAI gère les prochaines étapes. La détection est en ligne. La réponse est encore en cours de rédaction.