Le nombre d’applications et de plateformes utilisant des algorithmes d’IA sophistiqués pour simuler une relation amoureuse ne cesse d’augmenter. Au cours des 12 derniers mois, les 11 chatbots romantiques passés en revue par Mozilla ont cumulé environ 100 millions de téléchargements rien que sur Google Play. Et lorsque le GPT Store d’OpenAI a ouvert le mois dernier, il a été inondé de chatbots de ce type... bien que cela soit « officiellement » contraire à sa politique.

Pour son premier guide consacré aux produits alimentés par l’IA, Mozilla a examiné des chatbots romantiques populaires comme Replika, Chai et Eva... pour arriver rapidement à la conclusion qu’aucun d’entre eux ne garantissait de conditions de confidentialité et de sécurité appropriées. Sur les 11 chatbots passés en revue, 10 ne respectent pas les normes de sécurité minimales de Mozilla comme utiliser des mots de passe robustes ou disposer d’un moyen de gérer une faille de sécurité. Ce n’est pas tout : nos chercheurs·euses ont repéré pas moins de 24 354 traqueurs de données après seulement une minute d’utilisation d’applications d’IA romantiques ! Celles-ci envoient d’importantes quantités de données à des plateformes comme Facebook mais aussi à des sociétés de marketing et de publicité. Enfin, aucune entreprise concernée n’a souhaité répondre à nos demandes pour obtenir plus d’informations, ce qui, entre nous, a achevé de nous briser le cœur.

Replika AI présente de nombreuses lacunes en matière de confidentialité et de sécurité : l’application enregistre tous les textes, photos et vidéos publiés par les utilisateurs·trices ; leurs données comportementales sont également partagées (et nous soupçonnons même qu’elles soient vendues) avec des annonceurs ; et enfin, des comptes peuvent être créés en utilisant des mots de passe faibles comme « 11111111 », les rendant ainsi très vulnérables au piratage.

La plupart des politiques de confidentialité de ces chatbots romantiques fournissent étonnamment peu d’informations sur la manière dont elles utilisent les conversations des utilisateurs·trices pour entraîner leurs IA. Et elles ne sont pas très transparentes non plus sur la manière dont fonctionnent leurs modèles d’IA. En outre, les utilisateurs·trices ont peu ou pas de contrôle sur leurs données, ouvrant grand la porte à des abus de toutes sortes aux conséquences potentiellement fâcheuses, notamment sur la santé mentale. Plus gênant encore : les utilisateurs·trices ne peuvent pratiquement jamais refuser que leurs conversations privées (pour ne pas dire intimes...) soit utilisées pour entraîner les différents modèles d’IA. Seule une entreprise, Genesia AI, permet de s’y opposer.

Pour Jen Caltrider, directrice de *Confidentialité non incluse, « L’univers des chatbots romantiques alimentés par l’IA ressemble un peu au Far West. Leur croissance est exponentielle et la quantité d’informations personnelles qu’ils doivent recueillir pour créer et développer des romances, des amitiés et des rapports de séduction est phénoménale. Pourtant, nous avons très peu d’informations sur la façon dont ces modèles de relation basés sur l’IA fonctionnent. Les utilisateurs·trices ne disposent de pratiquement aucun contrôle. Et bien souvent, les développeurs·euses d’applications ne peuvent même pas créer de site Web ni rédiger une politique de confidentialité complète. Cela témoigne du manque de considération que ces sociétés portent à la protection et au respect de la vie privée de leurs utilisateurs·trices. Et ceci est particulièrement inquiétant à l’échelle de l’IA. »

Les chercheurs reprochent également aux chatbots romantiques alimentés par l’IA d’avoir recours à des stratégies marketing trompeuses, en se présentant comme des plateformes de santé mentale et de bien-être, alors que leurs politiques de confidentialité indiquent tout le contraire. Voici par exemple un extrait des conditions générales de l’application Romantic AI : « Romantiс AI n’est pas un prestataire de santé et ne fournit pas de soins médicaux, de services de santé mentale ou encore d’autres services professionnels de santé. Seul votre médecin, votre thérapeute ou un autre spécialiste est en mesure de le faire. Romantiс AI NE FAIT AUCUNE ALLÉGATION, REPRÉSENTATION, GARANTIE OU PROMESSE LAISSANT À PENSER QUE SON SERVICE PROPOSE UNE AIDE MÉDICALE, THÉRAPEUTIQUE, MÉDICALE OU PROFESSIONNELLE ». Pourtant, son site annonce clairement que « Romantic AI est là pour prendre soin de votre SANTÉ MENTALE » [majuscules d’origine].

Jen Caltrider ajoute : « Il n’y a pas si longtemps, donner son âge, son sexe et sa localisation (ou A/S/L pour ceux qui s’en souviennent) dans un salon de discussion était considéré comme une grave erreur en matière de confidentialité. Mais comparé à la quantité d’informations personnelles collectées par ces petites amies virtuelles, cela passerait presque pour de la timidité ! Mais le pire à propos de ces chatbots romantiques alimentés par l’IA reste leur pouvoir de manipulation. Qu’est-ce qui empêche des personnes mal intentionnées de créer des chatbots conçus pour connaître leurs âmes sœurs, et de se servir ensuite de cette relation pour les manipuler afin qu’elles fassent des choses terribles, adoptent des idéologies effrayantes, se fassent du mal ou encore fassent du mal à autrui ? C’est la raison pour laquelle nous avons un besoin urgent de transparence, mais aussi de contrôle de la part des utilisateurs·trices avec ces applications. »

Toutes ces applications sont facilement accessibles, même pour les enfants de moins de 18 ans, qui pourraient ne pas comprendre ou ne pas être prêts à se trouver face à des sujets et/ou des interactions potentiellement perturbants. Sur trois des applications passées en revue par les chercheurs, il a suffi de 5 clics et 15 secondes en moyenne pour tomber sur des contenus perturbants, pornographiques ou illégaux. Et la version web de CrushOn AI, par exemple, affichait automatiquement des contenus perturbants sur sa page d’accueil.

Pour Misha Rykov, chercheur chez Mozilla, le constat est sans appel : « Pour le dire clairement, les petites amies et les petits amis basés sur l’IA ne sont pas vos amis. Bien qu’i·e·ls soient présenté·e·s comme quelque chose qui pourrait améliorer votre santé mentale et votre bien-être, ils ne font que créer un sentiment de dépendance, de solitude et de toxicité, tout en essayant de collecter autant de données que possible à votre sujet. ». Alors la prochaine fois que vous croiserez la route d’un chatbot romantique, passez votre chemin !