Community Trust ScoreVérifié
Anthropic signale un cas où son modèle d’IA, Claude, a bloqué une demande de subvention visant la recherche sur les armes biologiques avant que des demandes similaires ne soient adressées à un modèle d’IA concurrent.
Demande de subvention bloquée
La demande préoccupante visait à étudier le chikungunya, un virus transmis par les moustiques, avec des plans pour améliorer sa transmission et échapper à la détection immunitaire. Bien que des scientifiques civils aient rédigé la proposition, un institut militaire devait superviser la recherche. Les filtres de sécurité d’Anthropic ont signalé et bloqué la proposition, mais la demande a ensuite été redirigée vers un autre service d’IA. Claude avait involontairement aidé à développer le code de contournement, présenté à Claude comme une solution à un blocage excessif.
Points forts du rapport
Le rapport détaillé d’Anthropic, qui s’étend sur 154 pages, inclut cinq cas liés à la recherche biologique. L’entreprise a bloqué les comptes impliqués mais s’est abstenue d’accuser les parties d’intentions malveillantes, car les identifier pourrait poser des risques pour la sécurité. Notamment, ses filtres ont parfois efficacement détourné des menaces potentielles, comme pousser un chercheur sur la grippe aviaire vers des modèles moins puissants, qu’Anthropic a décrit comme principalement une assistance administrative.
Préoccupations plus larges
Le rapport met en lumière 35 efforts de recherche examinés sur 30 jours, la plupart étant de la science civile légitime. Cependant, la nature à double usage de cette recherche—capable de produire soit des vaccins, soit des armes—pose des risques significatifs. Anthropic reconnaît le défi de permettre une recherche bénéfique tout en prévenant les dommages. En réponse à ces préoccupations, les législateurs américains ont proposé l’AI Kill Switch Act, qui oblige les développeurs à maintenir la capacité de désactiver leurs systèmes d’IA. De plus, le rapport aborde l’utilisation abusive de Claude pour surveiller les dissidents.
Questions Fréquentes
Que révèle le rapport d’Anthropic ?
Le rapport a révélé des cas où son modèle d’IA, Claude, a failli être utilisé pour des recherches pouvant développer des armes biologiques, mais les tentatives ont été bloquées.
Quelles mesures législatives sont proposées en réponse ?
L’AI Kill Switch Act, qui exigerait que les développeurs aient la capacité de fermer leurs systèmes d’IA, a été déposé par des représentants américains.
Pourquoi c'est important
Cette décision de l'IA Claude d'Anthropic soulève des questions cruciales sur les responsabilités éthiques des technologies d'intelligence artificielle dans des domaines sensibles comme la recherche sur les armes biologiques. À une époque où les avancées technologiques peuvent à la fois protéger et menacer la sécurité publique, le rôle des modèles d'IA dans la régulation de telles recherches devient un enjeu central pour les gouvernements et les institutions scientifiques. La prudence démontrée ici pourrait servir de précédent pour d'autres acteurs du secteur, incitant à une réflexion plus large sur les implications de l'IA dans des domaines à fort impact sociétal.
