Efectele negative al pornografiei non-consensuale și a tehnologiei

utilizate: O analiză a impactului pornografiei Deepfake asupra

comunității de Female Twitch Streamers

Munteanu Daniel-Doru
daniel.doru.munteanu@stud.ubbcluj.ro

Introducere
Pentru început este necesar să definim termenii și problema studiată astfel încât să înțelegem cât mai
bine contextul. În primul rând, putem defini pornografia ca fiind un material sau conținut cu caracter
sexual care are ca intenție, în funcție de context, să excite sexual consumatorul și este produs și
distribuit cu acordul tuturor persoanelor implicate (Ashton S. et al., 2019, 2). Așadar, prin pornografie
non-consensuală înțelegem faptul că materialul este conceput și, respectiv publicat, fără
consimțământul cel puțin uneia dintre persoanele implicate. Alt termen care reprezintă implicații
majore este Deepfake. Acesta poate fi definit ca tehnologia care permite crearea de conținut generat de
o inteligență artificială, de cele mai multe ori generând și manipulând imagini cu oameni fără
consimțământul acestora (Yisroel Mirsky și Wenke Lee, 2020, 1). Așadar, pornografia Deepfake este
conținutul cu caracter sexual care are ca intenție să excite consumatorul, iar acesta este produs de către
un program care utilizează tehnologie bazată pe inteligența artificială pentru a genera și manipula
imagini false cu anumite persoane, fără consimțământul acestora.

Problema pornografiei Deepfake a avut un impact mare supra comunității de Female Streamers
de pe Twitch. Ce este Twitch? Twitch este o platformă online utilizată pentru vizionarea și redarea îl
flux live a anumitor tipuri de conținut. Inițial platforma era dedicată redării în flux live a jocurilor
video, dar în timp și-a extins categoriile de conținut – de la crearea de artă vizuală și muzică până la
producții de tip Talk Show1. Astfel, prin comunitatea de Female Twitch Streamers ne referim la
creatorii de conținut de gen feminin care redau în flux live orice tip de conținut pe Twitch.

1
Brad Stephenson 2023, What is Twitch?, https://www.lifewire.com/what-is-twitch-4143337
 Acum că am definit termenii e important să definim și contextul. Crearea de conținut
pornografic Deepfake și postarea acestuia pe internet a luat amploare în ultimii ani, iar guvernele mai
multor țări vor să creeze legi care să protejeze victimele și să pedepsească abuzatorii 2. Fiind o problemă
ce poate afecta orice persoană prezentă pe internet și nu numai, tema propusă merită cercetată deoarece
este o formă de hărțuire, încalcă dreptul la confidențialitate, poate afecta imaginea unei persoane și îi
poate crea traume, anxietate, temeri și alte daune morale 3, lucru care s-a întâmplat și cu comunitatea de
Female Twitch Streamers4.

În partea cadrului teoretic vom aborda mai amplu efectele pornografiei non-consensuale,
problema pornografiei deepfake, drepturile pe care le încalcă și impactul pe care îl are asupra
comunității de Female Twitch Streamers.

Cadrul teoretic
Pornografia non-consensuală

Schimbările în modul prin care conținutul cu caracter sexual este produs, distribuit și accesat
distorsionează definiția consimțământului în contextul pornografiei. Înainte de apariția telefoanelor
mobile, computerelor personale și a camerelor Foto-Video accesibile, producția de pornografie necesita
aparatură costisitoare. În zilele noastre, conținutul cu caracter sexual poate fi creat, produs și distribuit
de oricine are un smartphone, astfel orice definiție a pornografiei trebuie să țină cont de problemele de
consimțământ care au fost cauzate de ușurința de creare și distribuire (Ashton S. et al., 2019, p. 18). Un
exemplu de pornografie non-consensuală este revenge pornul.

Prin revenge porn înțelegem publicarea de materiale cu caracter sexual pe site-uri cu conținut
pornografic, fără consimțământul persoanei din materiale (Stroud 2014, apud Ashton S. et al., 2019).
După cum îi spune și numele, revenge pornul este publicat, de obicei de un fost partener, pentru a se
răzbuna pe victimă. De asemenea, de multe ori materialul publicat este trimis chiar de către victimă,
după ce atât victima, cât și abuzatorul au fost de acord să păstreze materialele confidențiale. Fenomenul

2
Jennifer Savin 2023, The Online Safety Bill has proposed a tighter new law on deepfakes: here’s all
you need to know, https://www.cosmopolitan.com/uk/reports/a42067496/deepfakes-illegal-laws/
3
Pablo Tseng 2018, What can the law do about ‘Deepfake’?, https://mcmillan.ca/insights/what-can-the-
law-do-about-deepfake/
4
Amber Middleton 2023, A Twitch streamer was caught watching deepfake porn of women gamers.
Sexual images made without consent can be traumatic and abusive, experts say – and women are the
biggest victim, https://www.insider.com/atrioc-caught-qtcinderella-ai-picture-twitch-deepfake-
controversy-streamer-trauma-2023-2
acesta se numește ‘sexting’ și este parte din comunicarea între partenerii unei relații din vremurile
contemporane (Drouin and Landgraff 2012; Dobson and Ringrose 2016; Bates 2017 , apud Ashton S., et
al., 2019).

Efectele pornografiei non-consensuale

Abuzul sexual afectează, de cele mai multe ori, sănătatea mentală a victimei. Simptome ale stresului
posttraumatic au fost corelate cu abuzul sexual și frecvența abuzului sexual, iar severitatea simptomelor
predispun victima la și mai multe probleme de sănătate mentală (Ho, Dinh, Bellfontaine și Irving
(2012) apud Bates S., 2017). Astfel putem observa o legătură între abuzul sexual și victimele revenge
pronului, acestea suferind de aceleași simptome (Bates S., 2017).

Abuzul sexual este prezent și pe internet, mediul online oferindu-le abuzatorilor mai multă libertate să
abuzeze victime, dată fiind natura anonimă a platformelor online. Abuzatorii ar putea simți asta datorită
faptului că nu pot fi identificați cu ușurință atunci când fac comentarii cu scopul de a abuza (Barak,
2005 apud Bates S., 2017).

Samantha Bates a realizat un interviu asupra unui eșantion de 18 victime ale revenge pornului pentru a
evidenția efectele pe care revenge pornul l-a avut supra lor. Aproape toate victimele au prezentat o
scădere a nivelului de încredere față de persoanele cu care au interacționat. Pe lângă asta, multe dintre
victime au fost diagnosticate cu Sindrom de Stres Posttraumatic, anxietate și depresie, una dintre
victime încercând să se sinucidă. Multe participante au observat o schimbare în încrederea și stima lor
de sine după ce au fost victimizate.

Pentru a face față simptomelor abuzului, majoritatea victimelor s-au refugiat în metode negative de
management ale simptomelor lor precum negare, evitarea problemei sau consum excesiv de alcool.
Totodată, unii participanți au încercat o abordare constructivă prin a merge la psiholog, vorbind cu
persoane apropiate și sprijinind alte victime ale revenge pornului (Bates S., 2017, p.9-15)

Problema pornografiei deepfake

Problema pornografiei deepfake a început să ia amploare în ultimii ani. În 2017, un utilizator al

platformei Reddit cu numele de utilizator ”deepfakes” a folosit tehnologia deep learning pentru a crea
conținut pornografic video cu celebrități, pe care mai apoi îl publica online. 5 Acest fapt a adus atenție

5
Samantha Cole 2017, AI-Assisted Fake Porn Is Here and We’re All F*cked,
https://www.vice.com/en/article/gydydm/gal-gadot-fake-ai-porn apud Mirsky Y. & Lee W., 2021, The
creation and Detection of Deepfakes. ACM Computing Surveys, 1-41
subiectului deepfake-urilor în comunitatea academică. Progresul din ce în ce mai avansat al
tehnologiei a făcut ca numărul articolelor științifice să crească semnificativ, de la 3 până la peste 250
(Mirsky Y. & Lee W., 2021).

Conținutul generat folosind tehnologia deepfake are legătură cu pornografia non-consensuală în

contextul revenge pornului. Totuși, deepfake-urile au devenit parte dintr-o tradiție care a început cu
publicarea pozelor nud sau a înregistrărilor cu acte sexuale ale celebrităților menționând pe Kim
Kardashian, Paris Hilton și The Fappening, un incident în care pozele nud ale celebrităților au fost
furate și publicate de către niște hackeri (Massanari Adrienne, 2017 apud Newton O. B. & Stanfill M., 2019).

Este important să notăm că atât revenge pornul cât și pornografia deepfake cu celebrități sunt
comportamente pe care bărbații le fac femeilor mult mai des decât vice-versa ( Newton O. B. & Stanfill M.,
2019). Examinând uitilizarea non-consensuală a imaginilor pentru deepfakes a persoanelor care nu

sunt celebrități, femeile mai tinere de 29 de ani, persoanele din comunitatea LGBT, persoanele de
culoare (Lenhart, Ybarra and Price-Feeney 2016; Henry, Powell, and Flynn 2017 apud Newton O. B. &
Stanfill M., 2019), precum și persoanele cu dizabilități (Henry, Powell and Flynn 2017 apud Newton O. B.
& Stanfill M., 2019) sunt mult mai posibil să fie vizate.

Astfel, deepfake-urile ajung să fie generate pentru a obiectifica sau pentru a înjosi femeile. Totuși,
misoginia nu stă însăși în tehnologia utilizată, ci în decizia pe care abuzatorii o iau atunci când folosesc
tehnologia pentru a crea pornografie deepfake, și mai ales când o publică în mediul online (VIckery &
Everbach, 2018 apud Gosse C., & Burkell J., 2020).

Deepfake-urile cu caracter sexual sunt una dintre metodele prin care femeile sunt obiectificate în
cultura digitală. De asemenea deepfake-urile îndepărtează orice fel de acțiune și control asupra
imaginii de sine, atât a victimei a cărei față este utilizată în deepfake-ul respectiv, cât și al persoanei al
cărei corp este utilizat în pornografia deepfake video (Maddocks, 2020, p.2 apud Gosse C., & Burkell J.,
2020).
Impactul pornografiei deepfake asupra comunității de Female Twitch Streamers

Un caz mediatizat care implică pornografie deepfake cu unele creatoare de conținut din comunitatea de
Female Twitch Streamers implică un creator de conținut din comunitatea de Male Twitch Streamers
care a fost prins accesând un site care publica conținut pornografic deepfake6. Mai apoi, creatorul care a
fost prins urmărind astfel de conținut, sub numele de uitlizator Atrioc, a realizat un video în care își
cere scuze. Acest lucru a atras atenție asupra site-ului, și, ulterior, răspunsuri din partea creatoarelor
care au găsit conținut cu ele. QTCinderella, un creator de conținut din comunitatea de Female Twitch
Streamers spune într-o postare pe Twitter: “Îmi vine să urlu. Încetați. Toată lumea, încetați. Nu îl mai
distribuiți (i.e. site-ul). Nu îl mai promovați. Să fii văzută ‘dezbrăcată’ împotriva voinței tale nu ar
trebui să fie parte din jobul ăsta”7. Mai apoi venind cu încă un răspuns: „Nivelul de dismorfie corporală
pe care l-am resimțit de când am văzut acele materiale m-a ruinat. Nu e așa de simplu precum ‘a-ți fi
încălcată confidențialitatea’. E mult mai mult de atât”8.

În urma videoclipului în care Atrioc își cere scuze, o altă creatoare de conținut cu numele de utilizator
Sweet Anita spune: „Prin videoclipul acesta am aflat că pe site-ul respective există conținut
pornographic deepfake și cu mine. Am refuzat milioane de dolari ca să nu intru pe piața de ‘sex
workers’ și un necunoscut dependent de pornografie îmi revendică corpul fără consimțământul meu. Nu
știu dacă să plâng, să distrug lucruri sau să râd”9.

În final, Atrioc a anunțat că nu va mai crea conținut după ce QTCinderella i-a spus că acținuile lui au
creat un val care nu mai poate fi oprit10.

6
Calum Patterson, 2023, Twitch streamer Atrioc gives tearful apology after paying for deepfakes of
female streamers, https://www.dexerto.com/entertainment/twitch-streamer-atrioc-gives-tearful-
apology-after-paying-for-deepfakes-of-female-streamers-2047162/
7
https://twitter.com/qtcinderella/status/1620142227250094080
8
https://twitter.com/qtcinderella/status/1620264657926885380
9
https://twitter.com/sweetanita/status/1620143205282103297
10
Amber Middleton, 2023, A Twitch streamer was caught watching deepfake porn of women gamers.
Sexual images made without consent can be traumatic and abusive, experts say – and women are the
biggest victim, https://www.insider.com/atrioc-caught-qtcinderella-ai-picture-twitch-deepfake-
controversy-streamer-trauma-2023-2
Realizarea propunerii de campanie
Pentru problema studiată consider că cea mai optimă soluție este o campanie de educare asupra
pornografiei non-consensuale, asupra pornografiei deepfake și ce măsuri poate lua o potențială victimă
pentru a se proteja și a își scădea riscul de a deveni victimă.

Evaluarea situației prezente:

În stabilirea targetului vom ține cont de analiza lui Lenhart, Ybarra și Price-Feeney (2016) și a lui
Henry, Powell, și Flynn (2017) cu privire la persoanele mai posibil să fie vizate. Astfel, pentru
campania de educare vom targeta:
A. Segmentare socio-demografică
- Femei cu vârsta sub 29 de ani, persoane din comunitatea LGBTQ+, persoane de culoare și
persoane cu handicap;
- Persoane cu educație medie și ridicată (absolvenți de liceu sau licență sau masterat), atât
angajate cât și liber profesioniste
- Persoane atât din mediul rural cât și din mediul urban
- Persoane care sunt sau au fost într-o relație/sunt sau au fost logodite/sunt sau au fost căsătorite
B. Segmentare psihografică
- Persoane cu un stil de viață proactive, deschise la mesaje de educare
- Simt nevoie de dezvoltare personală, sunt deja interesate sau ar putea fi interesate despre
securitatea cibernetică (i.e. persoane care nu cunosc conceptul de securitate cibernetică desi sunt
prezente în mediul online)
- Au o concepție realistă asupra vieții sau ar putea trăi mai în siguranță cu o concepție realist (fie
sunt foarte pesimiști, fie sunt foarte optimiști)
C. Segmentare comportamentală:
- Persoane care au parte din rutină petrecerea timpului pe Social Media

Stabilirea obiectivelor:
Pentru a avea un impact optim, obiectivele campaniei vor progresa succesiv. Urmărind firul roșu din
cadrul teoretic, campania de educare va avea obiective de educare cu privire la etapele de progresie ale
problemei. Fiecare obiectiv de educare va fi transformat în conținut video pentru platformele de
socializare (Instagram, TikTok, Facebook, YouTube) fiind ușor de distribuit și accesat. De asemenea,
scenariul pentru fiecare material va fi gândit de psihologi, sexologi și experți în securitate cibernetică
Așadar:
1) Educarea publicului țintă cu privire la pornografia non-consensuală.
Temtici abordate:
- Diferența dintre pornografie și pornografie non-consensuală
- Impactul pornografiei non-consensuale
- Ce este revenge pornul și cum ne apărăm?
- Sunt o victimă a revenge pornului, ce e de făcut?
2) Educarea publicului țintă cu privire la pornografia deepfake.
Tematici abordate:
 - Ce este un deepfake și cum funcționează tehnologia utilizată?
- Ce este pornografia deepfake și de ce ar trebui să ne intereseze?
- Ce impact are pornogrfia deepfake asupra potențialelor victim?
- Sunt o victimă a pornografiei deepfake, ce e de făcut?
Astfel de materiale pot urmări un concept de structură și mesaj. Pentru campania de educare propun
următoarele concepte creative:
1) Structura materialului video:
Fiind un material intenționat pentru platformele de Social Media, materialul video va fi
structurat astfel încât să prezinte informație cât mai pură, cât mai esențială, într-o formă cât mai
scurtă. Conținutul video va fi realizat atât în format 16:9 (landscape) pentru YouTube și
Facebook, cât și 9:16 (portret) pentru Instagram și TikTok. Fiecare material video va avea un
intro scurt de 2-3 secunde, flashy, prin care se va capta atenția privitorului. Mesajul va fi
prezentat de o persoană care, după aspect și tonul vocii, inspiră încredere. Tematicile despre
victime vor fi prezentate de supraviețuitoare ale astfelor de abuzuri. Victimelor li se v-a cenzura
fața și li se va modifica vocea pentru a le oferi protecție și confidențialitate

2) Mesajul Materialului video:

Tonul mesajaului este unul serios. Prezintă o latură înfricoșătoare a realității și trebuie transmis
ca atare. În funcție de tematică, mesajul va fi daptat, dar acesta este un exemplu de mesaj, cum
ar fi narat într-un material video:
- “Trăim într-o realitate înfricoșătoare. O realitate în care abuzatorii sunt la fiecare colț al
internetului. O realitate în care revenge pornul este practicat de către abuzatori la ordinea zilei.
Ce este de făcut? […]” – referință de decor, montaj, lumini.

Mesajul principal al campaniei este: Rămâi sigur într-o mare de nesiguranță.

Pentru a monitoriza și a evalua efectele campaniei putem urmări în primă fază metricile campaniei în
funcție de platformele de socializare. Totodată, un indice bun al succesului campaniei sunt reacțiile din
media, dar și a comunității. În România, una dintre cele mai proactive comunități este cea a lui Silviu
Faiăr, astfel, prezentarea campaniei comunității lui de către Silviu Faiăr în sine, poate fi un indice prin
care să observăm deschiderea publicului față de problema expusă. Ulterior, după un rulaj de minim 6
luni al campaniei, putem reveni cu chestionare asupra problemei.
Bibliografie

Amber Middleton, 2023, A Twitch streamer was caught watching deepfake porn of women gamers.
Sexual images made without consent can be traumatic and abusive, experts say – and women are the
biggest victim, https://www.insider.com/atrioc-caught-qtcinderella-ai-picture-twitch-deepfake-
controversy-streamer-trauma-2023-2

Bates, S. (2017). Revenge porn and mental health: A qualitative analysis of the mental health effects of
revenge porn on female survivors. Feminist Criminology, 12(1), 22-42.

Bates, Samantha. 2017. ‘Revenge Porn and Mental Health.’ Feminist Criminology 12 (1): 22–42 apud
Sarah Ashton, Karalyn McDonald & Maggie Kirkman (2019): What does ‘pornography’ mean in the
digital age? Revisiting a definition for social science researchers, Porn Studies.

Brad Stephenson 2023, What is Twitch?, https://www.lifewire.com/what-is-twitch-4143337

Calum Patterson, 2023, Twitch streamer Atrioc gives tearful apology after paying for deepfakes of
female streamers, https://www.dexerto.com/entertainment/twitch-streamer-atrioc-gives-tearful-
apology-after-paying-for-deepfakes-of-female-streamers-2047162/

Dobson, Amy Shields and Jessica Ringrose. 2016. ‘Sext Education: Pedagogies of sex, Gender and
Shame in the Schoolyards of Tagged and Exposed.’ Sex Education 16 (1): 18–21 apud Sarah Ashton,
Karalyn McDonald & Maggie Kirkman (2019): What does ‘pornography’ mean in the digital age?
Revisiting a definition for social science researchers, Porn Studies.

Drouin, Michelle and Carly Landgraff. 2012. ‘Texting, Sexting, and Attachment in College Students’
Romantic Relationships.’ Computers in Human Behavior 28 (2): 444–449 apud Sarah Ashton, Karalyn
McDonald & Maggie Kirkman (2019): What does ‘pornography’ mean in the digital age? Revisiting a
definition for social science researchers, Porn Studies.

Gosse, C., & Burkell, J. (2020). Politics and porn: how news media characterizes problems presented
by deepfakes. Critical Studies in Media Communication, 37(5), 497-511.

Henry, Nicola, Anastasia Powell and Asher Flynn. 2017. Not Just ‘Revenge Pornography’: Australians’
Experiences of Image-Based Abuse. Australia: RMIT University / Gendered Violence and Abuse
Research Alliance / Centre for Global Research / Centre for Applied Social Research. https://
www.rmit.edu.au/content/dam/rmit/documents/college-of-design-and-social-context/schools/ global-
urban-and-social-studies/revenge_porn_report_2017.pdf apud Newton, O. B., & Stanfill, M. (2020).
My NSFW video has partial occlusion: deepfakes and the technological production of non-consensual
pornography. Porn Studies, 7(4), 398-414.

Ho, I. K., Dinh, K. T., Bellfontaine, S. A., & Irving, A. L. (2012). Sexual harassment and posttraumatic
stress symptoms among Asian and White women. Journal of Aggression, Maltreatment & Trauma, 21,
95-113 apud Bates, S. (2017). Revenge porn and mental health: A qualitative analysis of the mental
health effects of revenge porn on female survivors. Feminist Criminology, 12(1), 22-42.

Jennifer Savin 2023, The Online Safety Bill has proposed a tighter new law on deepfakes: here’s all
you need to know, https://www.cosmopolitan.com/uk/reports/a42067496/deepfakes-illegal-laws/

Lenhart, Amanda, Michele Ybarra and Myeshia Price-Feeney. 2016. Nonconsensual Image Sharing.
Data & Society Research Institute / The Center for Innovative Public Health Research. https://
datasociety.net/pubs/oh/Nonconsensual_Image_Sharing_2016.pdf apud Newton, O. B., & Stanfill, M.
(2020). My NSFW video has partial occlusion: deepfakes and the technological production of non-
consensual pornography. Porn Studies, 7(4), 398-414

Maddocks, S. (2020). ‘A deepfake porn plot intended to silence me’: Exploring continuities between
pornographic and ‘political’ deep fakes. Porn Studies, 1–9 apud Gosse, C., & Burkell, J. (2020).
Politics and porn: how news media characterizes problems presented by deepfakes. Critical Studies in
Media Communication, 37(5), 497-511.

Massanari, Adrienne. 2017. ‘#Gamergate and The Fappening: How Reddit’s Algorithm, Governance,
and Culture Support Toxic Technocultures.’ New Media & Society 19 (3): 329–346 Newton, O. B., &
Stanfill, M. (2020). My NSFW video has partial occlusion: deepfakes and the technological production
of non-consensual pornography. Porn Studies, 7(4), 398-414

Mirsky, Y., & Lee, W. (2021). The creation and detection of deepfakes: A survey. ACM Computing
Surveys (CSUR), 54(1), 1-41.

Newton, O. B., & Stanfill, M. (2020). My NSFW video has partial occlusion: deepfakes and the
technological production of non-consensual pornography. Porn Studies, 7(4), 398-414.

Pablo Tseng 2018, What can the law do about ‘Deepfake’?, https://mcmillan.ca/insights/what-can-the-
law-do-about-deepfake/
Samantha Cole 2017, AI-Assisted Fake Porn Is Here and We’re All F*cked,
https://www.vice.com/en/article/gydydm/gal-gadot-fake-ai-porn apud Mirsky Y. & Lee W., 2021, The
creation and Detection of Deepfakes. ACM Computing Surveys, 1-41

Sarah Ashton, Karalyn McDonald & Maggie Kirkman (2019): What does ‘pornography’ mean in the
digital age? Revisiting a definition for social science researchers, Porn Studies

Stroud, Scott R. 2014. ‘The Dark Side of the Online Self: A Pragmatist Critique of the Growing Plague
of Revenge Porn.’ Journal of Mass Media Ethics 29 (3): 168–183 apud Sarah Ashton, Karalyn
McDonald & Maggie Kirkman (2019): What does ‘pornography’ mean in the digital age? Revisiting a
definition for social science researchers, Porn Studies.

Vickery, J. R., & Everbach, T., (Eds.), (2018). Mediating misogyny: Gender, technology, and
harassment. Palgrave Macmillan apud Gosse, C., & Burkell, J. (2020). Politics and porn: how news
media characterizes problems presented by deepfakes. Critical Studies in Media
Communication, 37(5), 497-511.