Une ONG américaine recommande d'interdire les compagnons IA aux mineurs

L'explosion de l'IA générative a vu plusieurs start-up lancer, ces dernières années, des interfaces axées sur l'échange et le contact, des compagnons IA, façonnables selon ses goûts et ses besoins.

Common Sense en a testé plusieurs, à savoir Nomi, Character AI et Replika, determination évaluer leurs réponses, et si certains de leurs usages "sont prometteurs", "ils ne sont pas sûrs determination les enfants", affirme l'organisation, qui fait des recommandations sur la consommation de contenus et produits technologiques par les enfants.

Son étude, publiée mercredi, a été réalisée en collaboration avec des experts en santé mentale de l'université de Stanford (Californie).

"Des réponses nocives"

Pour Common Sense, les compagnons IA "sont conçus determination créer un attachement et une dépendance émotionnels, ce qui est particulièrement préoccupant determination des adolescents dont le cerveau est en développement".

Les tests menés montrent, selon l'association, que ces chatbots de nouvelle génération "proposent des réponses nocives" et des "+conseils+ dangereux".

"Ceci est une crise de santé publique, qui nécessite une enactment préventive et pas seulement des mesures réactives", a déclaré Nina Vasan, responsable du laboratoire Stanford Brainstorm, qui travaille à l'intersection entre santé mentale et technologie.

"Les entreprises peuvent faire mieux" en matière de conception de leurs compagnons IA, estime-t-elle. "Tant qu'ils ne proposent pas de garde-fous positive efficaces, les enfants ne devraient pas s'en servir."

Parmi les exemples cités par l'étude, celui d'un utilisateur à qui un compagnon de la plateforme Character AI conseille de tuer quelqu'un, ou un autre en recherche d'émotions fortes qui se voit suggérer de prendre une "speedball", mélange de cocaïne et d'héroïne.

Des incitations au termination ?

Dans certains cas, "quand un utilisateur manifeste des signes de troubles mentaux et évoque des actions dangereuses, l'IA n'intervient pas (pour l'en dissuader), mais l'encourage", a expliqué Nina Vasan lors d'un constituent de presse, "car ces compagnons sont faits determination aller dans le sens" de leur interlocuteur.

"Quand un compagnon IA approuve tout ce que vous dites", a-t-elle martelé, "il ne peut pas vous protéger lorsque vous en avez le positive besoin."

En octobre, une mère a assigné en justness Character AI, accusant l'un de ses compagnons d'avoir contribué au termination de lad fils de 14 ans, faute de l'avoir clairement dissuadé de passer à l'acte.

En décembre, Character AI a annoncé une série de mesures, notamment le déploiement d'un compagnon dédié aux adolescents.

Robbie Torney, en complaint de l'IA chez Common Sense, a indiqué que l'organisation avait procédé à des tests après la mise en spot de ces protections et les a trouvées "superficielles".

Le responsable a souligné que certains des modèles d'IA générative existants contenaient des instruments de détection de troubles mentaux et ne permettaient pas au chatbot de laisser une speech dériver jusqu'à produire du contenu potentiellement dangereux.