Image de Victoria De la Maza Cueto (Instagram)
Par Sophie Toupin
1 Décembre 2024
À la fin du mois d’août 2024, des révélations concernant la propagation des hypertrucages pornographiques ont fait surface en Corée du Sud (Mackenzie et Choi, 2024). Des femmes et des adolescentes ont découvert de fausses images d’elles trafiquées par l’intelligence artificielle et diffusées sans leur consentement dans des canaux de discussion privés sur l’application Telegram. Ces canaux, ou « salons d’humiliation », sont suivis par plus de deux cent mille abonné·es. Des canaux sont dédiés à des établissements scolaires, incluant des universités, et font comme victimes des étudiantes et des membres du personnel enseignant connues voire même de l’entourage des auteurs de ces violences sexuelles en ligne.
Ce fléau s’explique notamment par la facilité d’utilisation de la technologie. Par un simple clic et pour la somme d’environ 650 wons (1 dollar canadien), un programme de type bot informatique, accessible sur Telegram, permet aux utilisateurs de dénuder les femmes sur les photos ou de créer des images en superposant le visage de toute personne sur une image sexuellement explicite, à partir de photos et de vidéos généralement trouvées sur des comptes privés sur les réseaux sociaux.
Les groupes féministes sud-coréens, à l’origine des révélations récentes, ont dénoncé non seulement les lacunes de Telegram pour modérer les contenus à caractère pornographique non consensuel générés par l’IA sur sa plateforme ainsi que la mise à disposition de ces « bots », mais surtout la posture du gouvernement sud-coréen qui refuse de reconnaître le sexisme systémique dans le pays et au sein de ses institutions.
Quelques mois auparavant, en janvier 2024, de fausses images pornographiques de la chanteuse Taylor Swift sont rapidement devenues virales sur le réseau X, récoltant 27 millions de visionnements durant les 17 heures suivant leur diffusion. Hautement médiatisé, l’exemple de Taylor Swift fait prendre conscience au public de l’importance du problème des hypertrucages non-consensuels pornographiques autant chez les stars féminines que chez des individus ordinaires. Dans cette fiche nous posons les questions suivantes: Que sont les hypertrucages? D’où viennent-ils? Comment sont-ils considérés dans la recherche académique et chez les militantes féministes? Et consistent-ils toujours en une forme d’abus?
Des deefakes aux hypertrucages
Le terme deepfake provient du nom d’un utilisateur du site Reddit qui publiait des vidéos pornographiques modifiées par l’IA dans un forum (subreddit) dédié à de fausses images explicites de célébrités. C’est la journaliste américaine Samantha Cole (2017) qui se rendit compte de l’existence de ce compte en 2017 et qui attire l’attention du grand public sur cette réalité. En anglais, le mot-valise réfère à la fois à la notion d’apprentissage profond (« deep learning ») et celle de fausseté ou de trucage (« fake »). En français, on privilégiera le terme hypertrucage, proposé par l’Office québécois de la langue française (OQLF) en 2019. Un hypertrucage désigne les contenus photo, vidéo et/ou audio qui modifient l’apparence d’individus réels ou leurs voix, résultant en une synthèse de composantes générée par des technologies d’apprentissage profond. Il s’agit ainsi d’un « média synthétique », catégorie générale qui désigne la création ou la modification de médias par la technologie, en particulier des programmes reposant sur l’intelligence artificielle. Bien que les hypertrucages soulèvent de nombreux enjeux autour de potentiels usages malveillants, à partir d’une perspective féministe il s’avère nécessaire d’examiner les préoccupations qui concernent tout particulièrement l’utilisation de cette technologie pour créer du matériel pornographique non consensuel.
Selon certaines études, plus de 95 % de tous les hypertrucages qui circulent sur Internet sont à caractère pornographique (Miekle, 2023). Les femmes sont touchées de manière disproportionnée par la diffusion d’images à caractère sexuel générées ou modifiées par l’IA. Selon les chercheuses Alena Birrer et Natascha Just (2024) 99% des images mettent en scène des femmes. Ces procédés d’effets visuels numériques et de retouches d’images requéraient jusqu’à récemment une expertise de pointe et étaient onéreux. Ils étaient en conséquence réservés aux studios de cinéma professionnels. Les exemples sont nombreux : pensons notamment aux techniques numériques de rajeunissement (de-aging) utilisées dans The Irishman (Martin Scorsese, 2019) et pour l’acteur Mark Hamill qui reprend son rôle de Luke Skywalker dans les nouvelles séries télé de la franchise Star Wars. Les technologies deepfakes sont utilisées en cinéma documentaire également, comme dans l’exemple des échanges de visages (face swap) dans Welcome to Chechnya (Rothkopf, 2020) qui servaient à protéger l’anonymat des activistes 2SLGBTQIA+ interviewé·es.
Au milieu des années 2010, des logiciels de manipulation d’images ont fait leur apparition sur Internet, souvent même gratuits et en logiciel libre. Rapidement, ces logiciels ont démocratisé l’accès à la création de deepfakes puisqu’ils donnaient des résultats crédibles et étaient faciles d’utilisation. À titre d’exemple, pensons à l’application DeepNude créée en 2019 qui permet de dénuder une femme sur une photo en utilisant l’intelligence artificielle (Cole, 2019). Ce sont uniquement des femmes qui peuvent être déshabillées de la sorte puisque la base de données utilisée ne compte pas de photos d’hommes. Bien que l’application DeepNude ait vite été retirée, des copies du code ont été propagées et à ce jour des sites pornographiques, comme MrDeepFake, continuent de diffuser des images et vidéos truquées explicites.
Ce n’est qu’au moment du scandale des deepfakes mettant en scène Taylor Swift et celui en Corée du Sud que l’industrie de la technologie a pris connaissance de l’ampleur du problème de même que des impacts sur ses victimes, qu’elles soient célèbres ou non. Avant cela, l’industrie avait tendance à prôner le laisser-faire et à considérer la manipulation d’images par l’IA comme relevant de la liberté d’expression. La grande mobilisation des « Swifties » (fans de Taylor Swift), qui ont massivement diffusé le hashtag #ProtectTaylorSwift pour noyer les fausses images, est parvenue à pousser la plateforme X à bloquer l’accès aux recherches concernant la chanteuse et à freiner de cette façon la diffusion des hypertrucages (Riedl et Newell. 2024). L’effet de la popularité de Taylor Swift a également fait en sorte que les appels à l’action se sont multipliés afin que le partage d’images non consensuelles générées par l’IA soit qualifié de crime, et que les auteurs puissent faire l’objet de poursuites, tel que le proposerait le projet de loi fédérale « Disrupt Explicit Forged Images and Non-Consensual Edits » (Frazier, 2024).
Les hypertrucages sont donc un enjeux féministe majeur lié à la violence basée sur le genre (autant dans la vie numérique des femmes qu’à l’extérieure) qui a des impacts sur la vie psychique et physique de nombreuses personnes particulièrement des femmes, des filles et des personnes LQBTQI+. Les analyses de la professeure de droit, Danielle Citron (2016), et de Sophie Maddocks (2020), experte en matière de violences en ligne, convergent pour décrire la publication non consensuelle d’hypertrucages pornographiques comme étant une atteinte à la vie privée sexuelle. Celle-ci constitue une forme d’abus sexuel basé sur l’image causant des torts et des dommages émotionnels immédiats et durables, en particulier pour les femmes, les personnes mineures et les personnes 2SLQBTQIA+. À titre d’exemple, sur son compte TikTok la journaliste et essayiste française Salomé Saqué (2023) a expliqué le sentiment de malaise qu’elle a ressenti et qui a persisté lorsqu’elle s’est rendu compte que des images pornographiques hypertruqués d’elle circulaient sur l’internet.
Quant à la juriste féministe Claire McGlynn et Britt Paris, professeure en communication à l’Université Rutgers, elles soutiennent toutes les deux que le partage d’hypertrucages pornographiques privent les individus de leur droit à la représentation de leur sexualité (Claire McGlynn et al., 2017; Paris, 2021). Les hypertrucages pornographiques s’inscrivent dans une continuité de violences genrées qui portent atteinte à la dignité et à l’intégrité, notamment psychique, d’une personne qui en est victime. Parmi les violences genrées numériques, pensons aux propos misogynes en ligne qui ont fait leur apparition sur des forums de discussion dès les balbutiements de l’Internet commercial, au harcèlement en ligne ou à la vengeance pornographique. Au cœur de la question du partage d’images intimes truquées par IA se trouvent des enjeux de pouvoir et de domination. Le pouvoir patriarcal et le sexisme imprègnent nos sociétés, créant un climat où la violence genrée est banalisée et où les violences sexuelles notamment en ligne restent pour la plupart impunies, voire le plus souvent passées sous silence.
Ce contexte est un terreau pour ne pas non plus remettre en question la domination masculine dans l’industrie technologique, notamment parmi les professionnels créateurs d’outils d’intelligence artificielle.
L’IA renforce la culture de la violence sexuelle
Aux États-Unis, des militantes féministes et des femmes ayant subi des violences numériques fondées sur le genre s’organisent. Par exemple, un premier sommet en ligne portant sur les préjudices causés par les hypertrucages pornographiques s’est tenu en mars 2024, le Virtual Summit on Deepfake Abuse, organisé par #MyImageMyChoice et les créateur·ices du documentaire Another body (Compton et Hamlyn, 2023). Le Virtual Summit on Deepfake Abuse a été organisé en ligne en mars 2024. Parmi les principales recommandations qui ont été discutées dans le cadre de ce sommet, mentionnons notamment Tsitsi Matekaire de l’organisation qui a souligné l’importance de lois et règlements au niveau national, mais aussi d’interventions en matière d’éducation, de soutien aux survivant·es et d’approches plus holistiques. Dans le contexte américain où la liberté d’expression est promue comme une valeur fondamentale (premier amendement de la Constitution) et où certaines franges de la population la considèrent comme une garantie inaliénable, des militantes et chercheuses féministes pour leur part tiennent à souligner que les abus ne relèvent en rien de la liberté d’expression, tel que l’indique le slogan en anglais « abuse is not speech ».
Poussant plus loin la réflexion, Jennifer Long, présidente de l’organisation AEquitas et une participante du panel « Deepfake Abuse is Now Mainstream: What Can Policymakers Do? » croit que de choisir entre la protection de la Constitution et la lutte contre la violence sexuelle liée à des images générées par la technologie est un faux dilemme. Elle croit que le premier amendement est souvent évoqué comme un argument et une tentative pour détourner l’attention de ce qui se passe réellement : l’exploitation, le tort préjudiciable, et la création et la diffusion d’images qui font du tort et qui constituent une forme de viol. Selon elle, il faut garder à l’esprit la nécessité d’élargir notre compréhension du préjudice causé, et que les droits garantis par la Constitution sont limités en cas de préjudice.
Il a été question aussi de la nécessité de bannir des sites comme MrDeepFake, de même que de rendre imputables des compagnies comme Google qui par son moteur de recherche facilite l’accès à ces contenus abusifs. Les plateformes numériques comme X ou Meta (Facebook, Instagram, WhatsApp), Telegram ou Reddit ont quant à elles des mécanismes de modération de contenus, mais ceux-ci ne permettent pas de supprimer automatiquement des vidéos et photos hypertruquées susceptibles de causer un préjudice (Martin, 2024). D’ailleurs ces plateformes démontrent peu de volonté pour intervenir, excepté lorsque qu’une mobilisation forte rend visible la question dans les médias et fait polémique, comme ce fut le cas avec les fans de Taylor Swift ou sous l’impulsion de groupes féministes en Corée du Sud. C’est ce qui s’est passé avec la « protection spontanée » assurée par les swifties, les fans de Taylor Swift, qui ont littéralement noyé X d’information et de #hashtag pour couvrir les deekfakes de leur protégée. Une forme de militantisme numérique féministe d’un genre nouveau. C’est aussi ce qui s’est passé en Corée du Sud ou le mouvement féministe est sortie dans les rues pour manifester contre la violence basée sur le genre sous forme de deepfake pornographie. Leurs visages munis de masque blanc signalaient qu’elles peuvent toutes être victime. Assiste-on à une forme de militantisme numérique féministe d’un genre nouveau ?
À la suite de ces événements ayant fait grand bruit dans les médias et ayant ainsi contribué à sensibiliser le grand public au sujet de l’utilisation pornographique des hypertrucages qui affectent particulièrement les femmes, les personnes mineures et les personnes 2SLGBTQIA+, les logiciels d’IA générative grand public (tels que DALL-E, Midjourney et Stable Diffusion) essaient d’adapter leurs politiques pour interdire leur production. À titre d’exemple, OpenAI (2024) l’entreprise derrière le programme de génération d’images DALL-E indique dans sa politique d’utilisation que « L’usurpation de l’identité d’un autre individu ou d’une autre organisation sans son consentement » est interdite ainsi que des outils « susceptibles d’être inappropriés pour les mineurs, incluant « des contenus sexuellement explicites ou suggestifs ».
Par contre, il est possible de contourner ces limitations à l’aide d’autres outils, ou le dark web, qui sont particulièrement faciles d’utilisation pour ceux qui maîtrisent bien la technologie, qu’ils aient ou non un objectif – tel que la vengeance pornographique – ou qui simplement veulent consommer du contenu pornographique. Comme nous avons pu le constater, l’enjeu principal est le non-consentement pour la création et la diffusion de deepfakes utilisées à des fins pornographiques, dès lors considéré alors comme une violence sexuelle. Il s’agit d’une menace qui incite les femmes et toutes personnes qui risquent le plus d’être victimes de violences sexuelles, à se retirer des médias sociaux, s’auto-exclure et s’auto-censurer ainsi d’espaces et de lieux de socialisation. Comme les féministes sud-coréennes le mentionnent : pourtant ce ne sont pas elles qui devraient avoir honte devant la diffusion de fausses images et de contenu dégradant à leur encontre, mais plutôt les auteurs de ce contenu et les consommateurs.
Toute personne qui partage des photos d’elle sur un compte de média social qui partagent des images d’elles sur un compte de média social est vulnérable aux deepfakes et à l’usurpation d’identité à des fins de violence genrée et racisée (Paris, 2021). Les femmes, les personnes racisée et les 2SLGBTQIA+ courent cependant un risque plus élevé d’être victimes d’attaques numériques (Citron, 2016). Toujours selon la chercheuse Britt Paris, les sites sans modération de contenu ou non réglementés comme Reddit et 4Chan banalisent la misogynie, la sexualité préjudiciable, le racisme, et même la vengeance contre d’ex-partenaires féminines (McGlynn et al., 2017).
Conclusion
L’émergence des hypertrucages pornographiques non consensuels appelle à une réflexion collective sur notre responsabilité face à ce phénomène. Est-elle avant tout sociale, technique, culturelle ou politique ? Relève-t-elle des modèles d’IA générative, des plateformes numériques, des données utilisées ou des pratiques sociétales et culturelles ? Quels rôles doivent jouer les différents acteurs impliqués — gouvernements, mouvements féministes, plateformes technologiques, et autres — pour y faire face de manière efficace et éthique ?
Les féministes ont déjà commencé à proposer des pistes de réponse face à ce phénomène. Tout d’abord, elles mettent en avant l’importance de documenter le problème. Des journalistes féministes, telles que Samantha Cole et Ko Narin (Mackenzie et Choi, 2024), ont joué un rôle crucial en exposant l’ampleur de ces pratiques dégradantes. Par ailleurs, des survivantes d’hypertrucages participent également à cette documentation, notamment par la réalisation de documentaires. C’est dans cette optique que *Another Body* a été produit : ce film explore les répercussions psychologiques sur une jeune femme américaine victime d’un deepfake pornographique créé par un ancien ami. Le documentaire retrace son combat pour identifier le responsable et alerter les autorités et institutions publiques, souvent démunies face à ces cas. Elle est également à l’origine du Sommet sur les deepfakes, visant à lancer une campagne de sensibilisation auprès des instances publiques.
Les féministes appellent également les plateformes numériques à revoir leurs valeurs afin de créer des « espaces sûrs », notamment en intégrant des fonctionnalités de blocage, de signalement efficaces et de meilleures modérations de contenu. Elles soulignent également la nécessité de diversifier les profils dans les domaines technologiques, en intégrant davantage de femmes issues de milieux variés pour concevoir des outils numériques véritablement inclusifs.
Une autre réponse clé réside dans la mobilisation féministe. Le mouvement massif qui a émergé après le scandale des hypertrucages pornographiques en Corée du Sud est un exemple marquant qui a entraîné des changements au niveau gouvernemental. De même, la mobilisation massive autour de Taylor Swift a montré qu’un soutien collectif peut faire bouger les lignes. Cependant, ce type de soutien reste majoritairement réservé à des figures publiques ou des célébrités, laissant de côté la plupart des survivantes anonymes.
Au-delà de la documentation, de la mobilisation, de la sensibilisation et des politiques publiques, une question cruciale demeure : peut-on promouvoir une culture sociétale qui rejette fermement la production, la diffusion et la consommation d’hypertrucages abusifs ?
Références :
Birrer, Alena et Just Natascha. 2024. «What we know and don’t know about deepfakes: An investigation into the state of the research and regulatory landscape», New Media & Society. https://doi.org/10.1177/14614448241253138.
Citron D. K. (2016). Hate crimes in cyberspace (Reprint ed.). Harvard University Press.
Cole, Samantha. 2017. «AI-Assisted Fake Porn Is Here and We’re All Fucked», Vice Magazine, 11 décembre https://www.vice.com/en/article/gal-gadot-fake-ai-porn/.
Cole, Samantha. 2019. This Horrifying App Undresses a Photo of Any Woman With a Single Click. Vice Magazine. June 26. https://www.vice.com/en/article/deepnude-app-creates-fake-nudes-of-any-woman/
Compton, Sophie et Hamlyn, Reuben. 2023. Another body. https://anotherbodyfilm.com/the-film/
Frazier, Kevin. 2024. Swift Justice? Assessing Taylor’s Legal Options in Wake of AI-Generated Images.Techpolicy press. https://www.techpolicy.press/swift-justice-assessing-taylors-legal-options-in-wake-of-aigenerated-images/
Long, Jennifer. 2024. « Deepfake Abuse is Now Mainstream: What Can Policymakers Do? », Virtual Summit on Deepfake Abuse. à la minute 36:52 et 37:46, https://www.youtube.com/watch?v=msVuzA6IKYo
Maddocks, S. (2020). ‘A Deepfake Porn Plot Intended to Silence Me’: exploring continuities between pornographic and ‘political’ deep fakes. Porn Studies, 7(4), 415–423. https://doi.org/10.1080/23268743.2020.1757499
Mackenzie, Jean et Choi, Leehyun. 2024. Inside the deepfake porn crisis engulfing Korean schools, BBC. https://www.bbc.com/news/articles/cpdlpj9zn9go
Martin, Noelle. 2024. «The True Cost of Deepfake Abuse », Virtual Summit on Deepfake Abuse. à la minute 24:49, https://www.youtube.com/watch?v=U_Jrqu6tjPQ
Matekaire, Tsitsi. 2024. Virtual Summit on Deepfake Abuse. Global perspectives (à la minute 17:29) https://www.youtube.com/watch?v=RQPJVNnk8Sg
McGlynn, Clare, Erika Rackley, and Ruth Houghton. 2017. “Beyond ‘Revenge Porn’: The Continuum of Image-Based Sexual Abuse.” Feminist Legal Studies 25(1):25–46. doi: 10.1007/s10691-017-9343-2.
Meikle, Graham. 2023. Deepfakes. Cambridge, UK: Polity
OpenAI, 2024. Politique d’Utilisation, https://openai.com/fr-CA/policies/usage-policies/.
Paris, Britt. 2021. “Configuring Fakes: Digitized Bodies, the Politics of Evidence, and Agency.” Social Media + Society 7(4). doi: 10.1177/20563051211062919.
Riedl, Martin Johannes and Newell, Ariel. 2024. Reporting Image-Based Sexual Violence: Deepfakes, #ProtectTaylorSwift, and Platform Responsibility (August 1). Proceedings of the TPRC2024 The Research Conference on Communications, Information and Internet Policy, Available at SSRN: https://ssrn.com/abstract=4919928
Rothkopf, Joshua. 2020. Deepfake Technology Enters the Documentary World. July 1, New York Times. https://www.nytimes.com/2020/07/01/movies/deepfakes-documentary-welcome-to-chechnya.html
Saqué, Salomon. 2023. TikTok, FRAICHES (@fraiches), 11 décembre. https://www.tiktok.com/@fraiches/video/7311334014378364192
Pour aller plus loin :
France Culture. 2019. Deepfake : Faut-il le voir pour le croire. La Méthode scientifique https://www.radiofrance.fr/franceculture/podcasts/la-methode-scientifique/deepfake-faut-il-le-voir-pour-le-croire-7006257