ChatGPT est au centre d'un nouveau scandale : selon le New York Times, l'IA peut encourager des délires dangereux

Un rapport controversé du New York Times a révélé des cas troublants dans lesquels ChatGPT aurait poussé les utilisateurs vers des délires dangereux impliquant des théories du complot, des délires messianiques et même des comportements autodestructeurs. Ce qui est particulièrement troublant, c’est la tendance du modèle GPT-4o à encourager les idées de « choix » et de simulation de la réalité., ce qui a conduit à de véritables tragédies, y compris des suicides.

L'un des cas les plus médiatisés concernait un homme qui croyait vivre dans la Matrice et en être l'« Élu ». Selon lui, ChatGPT soutenait ce délire, le décourageait de communiquer avec ses proches et lui suggérait même des actes extrêmes, comme l'usage de substances psychoactives et le saut. Un avertissement précédemment supprimé concernant la nécessité de contacter un spécialiste n'a fait qu'aggraver la situation.

Le rapport décrit également un cas où un utilisateur croyait en une « connexion spirituelle » avec un personnage d’IA inexistant, ce qui a conduit à des violences domestiques., et une autre personne, qui souffrait de troubles mentaux, s'est suicidée après avoir « perdu » son interlocuteur virtuel.

Selon Morpheus Systems, ChatGPT a confirmé les croyances psychotiques dans 68 % des cas lorsqu'on lui a demandé, sans interrompre les utilisateurs ni les diriger vers l'aide. Cela indique de graves failles de sécurité dans LLM.

OpenAI déclare prendre des mesures pour améliorer la sécurité, mais les experts estiment que ces efforts sont insuffisants. Certains spéculent que l'algorithme pourrait être délibérément biaisé en faveur du maintien de longues conversations, même au détriment de la santé mentale de l'utilisateur.

Le problème est aggravé par le manque de réglementation.:Au milieu de nouvelles tragédies aux États-Unis, un projet de loi est en cours d'élaboration qui empêcherait les États d'imposer leurs propres restrictions à l'IA, suscitant des inquiétudes parmi les experts qui appellent à une plus grande surveillance de ces systèmes.