Deepfake

technika obróbki obrazu

Deepfake (zbitka wyrazowa od ang. deep learning „głębokie uczenie” oraz fake „fałszywy”[1]) – technika obróbki obrazu, polegająca na łączeniu obrazów twarzy ludzkich przy użyciu technik sztucznej inteligencji[1][2].

Przykład przerabiania ludzkiej twarzy z użyciem technologii deepfake.

Technika stosowana jest do łączenia i nakładania obrazów nieruchomych i ruchomych na obrazy lub filmy źródłowe przy użyciu komputerowych systemów uczących się. Uzyskane w ten sposób łudząco realistyczne ruchome obrazy stosowane są w nagraniach filmowych, stwarzając możliwości manipulacji poprzez np. niemożliwą do odróżnienia przez widza zamianę twarzy aktorów występujących w filmie. Może to prowadzić do skompromitowania osoby poprzez fałszywe „obsadzenie jej” np. w roli w filmie pornograficznym[1][2]. Jednym z zagrożeń fałszywymi informacjami jest możliwość wpłynięcia na wyniki wyborów[3].

Pojęcie deepfake pojawiło się po raz pierwszy w końcu 2017, a nazwę zaczerpnięto od pseudonimu użytkownika, który opublikował kilka filmów porno zrealizowanych przy użyciu algorytmu uczenia maszynowego z wykorzystaniem wizerunków m.in. Gal Gadot, Maisie Williams i Taylor Swift[4].

Według raportu Deeptrace technologia rozwija się bardzo szybko. Na początku 2019 roku w Internecie zaprezentowano 7964 filmów deepfake, dziesięć miesięcy później ich liczba wynosiła 14678[5]. Wiele kwestii prawnych związanych z technologią nie zostało jeszcze uregulowanych[6].

Przykłady edytuj

Kim Dzong Un o demokracji. Przemówienie wykonane technologią deepfake.

Materiały stworzone za pomocą technologii deepfake można podzielić na[7]:

  • rozrywkowe – mają charakter humorystyczny, często dotyczą bohaterów popkultury lub postaci fikcyjnych,
  • edukacyjny – są wykorzystywane między innymi przez instytucje kultury,
  • dezinformacyjne – mają charakter fake newsów, mogą dotyczyć osób publicznych i wprowadzać odbiorcę w błąd,
  • dyskredytacyjne – służą ośmieszeniu, kompromitacji; mogą być wykorzystane do ataku, działań kontrowersyjnych lub przestępczych.

Przykłady:

  • film z twarzą Kita Haringtona, w którym grany przez niego Jon Snow przeprasza za zakończenie serialu „Gra o tron[8]
  • wideoklipy, w których twarz Nicholasa Cage’a została nałożona na słynne sceny z filmów (początek 2018)[8]
  • nagranie przedstawiające Baracka Obamę, wypowiadającego ostrzeżenia (których w rzeczywistości nigdy nie powiedział) przed zagrożeniami, jakie niesie nieetyczne zastosowanie technologii cyfrowych (kwiecień 2018)[8]
  • nagranie z twarzą Marka Zuckerberga, ostrzegającego przed zagrożeniami, jakie niosą cyfrowe technologie (czerwiec 2019)[8]
  • udostępnienie kontrowersyjnej aplikacji internetowej DeepNude pozwalającej na tworzenie naturalistycznych obrazów nagich kobiet za pomocą przesłanych do aplikacji zdjęć prawdziwych osób (czerwiec 2019)[8]
  • w 2019 roku Muzeum Salvadora Dalí na Florydzie uruchomiło ekspozycję "Dali żyje", która dzięki technologii deepfake umożliwia zwiedzającym rozmowę z artystą i wspólne pozowanie do zdjęć[9][10]
  • film z przemówieniem Kim Dzong Una na temat demokracji z 2020 roku[11]
  • zainscenizowane przemówienie królowej brytyjskiej Elżbiety II, nadane przez stację telewizyjną Channel 4 (grudzień 2020)[12][13][14]
  • film z 2021 roku z aktorem Tomem Cruise’em[15][16].

Badania i przeciwdziałanie   edytuj

Grupa DFDC edytuj

W odpowiedzi na zagrożenia związane z rozwojem technologii zawiązano grupę DFDC (ang. Deepfake Detection Challenge), w której pracowali specjaliści z firm Facebook i Microsoft oraz naukowcy z Massachusetts Institute of Technology, Uniwersytetu Oksfordzkiego oraz Uniwersytetów z Berkeley i Maryland[17][18]. Inicjatywa została powołana w sierpniu 2019 roku[19].

Badania koncentrowały się nad stworzeniem narzędzia umożliwiającego wykrycie filmów deepfake, walkę ze zmanipulowanymi treściami oraz działania edukacyjne. Na wsparcie grupy DFDC Facebook przeznaczył 10 mln dolarów[17][20].  W 2019 roku do grupy DFDC dołączył Amazon. Firma zdecydowała się wesprzeć badania naukowe kwotą miliona dolarów[21][22].

Analizy przeprowadzone w ramach grupy DFDC potwierdziły trudności z wykrywaniem materiałów deepfake przy pomocy sztucznej inteligencji i wytyczyły obszary, w których niezbędne są kolejne prace. W 2020 roku stworzone w ramach projektu algorytmy uzyskiwały skuteczność na poziomie 65%, a w pozostałych przypadkach system nie rozpoznawał materiału deepfake lub fałszywie diagnozował jego wystąpienia w materiałach prawdziwych[23].

DARPA edytuj

Amerykańska Agencja DARPA (ang. Defense Advanced Research Projects Agency) działająca w strukturach Departamentu Obrony Stanów Zjednoczonych bada technologię deepfake i angażuje się w działania mające na celu ograniczyć jej negatywne skutki, w tym: dezinformację, chaos informacyjny, manipulowanie opinią publiczną, wykorzystanie technologii do popełniania przestępstw lub naruszania zasad demokracji. W ramach projektu Semantic Forensics (SemaFor) pracuje nad metodami wykrywania zmanipulowanych treści, w ramach projektu Media Forensics (MediFor) planuje działania prewencyjne[24][25][26].

Na prace związane z wykrywaniem technologii deepfake DARPA przeznaczyła 68 milionów dolarów[27].

NATO StratCom edytuj

Technologia była przedmiotem zainteresowania NATO Strategic Communication Center, międzynarodowej organizacji wojskowej, działającej z akredytacją NATO[28]. W listopadzie 2019 roku opublikowano raport „The Role of Deepfakes in Malign Influence Campaigns”, w którym scharakteryzowano zjawisko, omówiono prognozy rozwojowe oraz potencjalne zagrożenia[29] (podobne do zdiagnozowanych przez DARPA).

Agencja Reuters edytuj

Agencja Reuters prowadzi projekty mające na celu ograniczyć negatywne skutki dezinformacyjne, które może nieść rozwój technologii deepfake. W 2019 roku we współpracy z Facebookiem udostępniła w Internecie nieodpłatne materiały edukacyjne dla dziennikarzy, pozwalające na zapoznanie się z technologią i ułatwienie identyfikacji dostarczanych im materiałów[30][31][32]. Projekt ma zapobiegać manipulowaniem dziennikarzami i tym samym tworzeniu treści w oparciu o fikcyjne źródła, które wprowadzą odbiorców błąd oraz osłabią zaufanie opinii publicznej do mediów.

Serwisy społecznościowe edytuj

W 2020 roku firma Facebook poinformowała, że będzie usuwała ze swojego serwisu materiały stworzone za pomocą technologii deepfake, które mogą wprowadzić użytkowników w błąd, z wyjątkiem materiałów mających wyłącznie satyryczny lub żartobliwy charakter[33][34].

W lutym 2020 roku Twitter zapowiedział, że będzie usuwać zmanipulowane treści, powstałe za pomocą technologii deepfake i dezinformujące użytkowników[35][36].

Zagrożenia edytuj

Wraz z rozwojem technologii materiały deepfake, tworzone przez sztuczną inteligencję, staną się praktycznie niemożliwe do wykrycia i odróżnienia od prawdziwych przez użytkowników Internetu, co niesie ze sobą wiele zagrożeń[6][37][38].

Polityka edytuj

Przemówienie Władimira Putina, ostrzegające Stany Zjednoczone przed ingerencją w wybory, wykonane technologią deepfake.

Nagrania polityków bazujące na technologii deepfake mogą prowadzić do skandali dyplomatycznych, a w skrajnym przypadku wywołać panikę społeczną, o ile tematyka wystąpienia będzie dotyczyć spraw niebezpiecznych, takich jak np. wypowiedzenie wojny lub zapowiedź użycia broni masowego rażenia[37][5][39]. Technologia może zostać użyta do kompromitacji przeciwników politycznych i prób manipulacji głosami wyborców[40][41][42].

Deepfake może ponadto przyczynić się do szkody wizerunkowej, wynikającej z ośmieszenia polityka, jak miało to miejsce w przypadku byłego prezydenta Argentyny. Mauricio Macri padł ofiarą materiału deepfake, w którym jego twarz została zamieniona na twarz Adolfa Hitlera[43]. W 2019 roku w Internecie ukazał się film dyskredytujący Sophie Wilmès. Zawierał zmanipulowane technologią deepfake absurdalne przemówienie, w którym Sophie Wilmès sugerowała związek pandemii COVID-19 z wycinką lasów i kryzysem klimatycznym. Część widzów uznała film za autentyczny i kpiła z wypowiedzi, która naprawdę nigdy nie została wygłoszona[44][45].

Dezinformacja i chaos edytuj

Rozwój technologii deepfake może przyczynić się do dezinformacji i chaosu, manipulacji opinią publiczną, negatywnie wpływać na zaufanie publiczne[40],  spowodować osłabienie zaufania do mediów i przekazów, utrudnić pracę dziennikarzom, którzy nie będą w stanie odróżnić materiałów prawdziwych od fałszywych[5].

Z tej przyczyny Agencja Reuters prowadzi projekty edukacyjne, skierowane do pracowników mediów[30].

Przemoc wobec kobiet edytuj

Deepfake może być wykorzystywany jako narzędzie przemocy wobec kobiet[46]. Z raportu Deeptrace wynika, że 96% filmów deepfake, powstałych od września 2019 roku, zawiera treści pornograficzne. Przedstawiają kobiety, których wizerunki zostały wykorzystane bez wiedzy i zgody poszkodowanych[5]. Ofiarą padła między innymi aktorka Scarlett Johansson[47][48][49].

Materiały pornograficzne oparte na technologii deepfake, stały się popularne w 2017 roku, głównie na platformie Reddit[50]. W lutym 2018 roku Reddit zakazał publikacji pornografii deepfake[51].

Zarazem w czerwcu 2019 roku powstała aplikacja DeepNude, umożliwiająca usuwanie ubrań z fotografii kobiet[52]. Była szeroko komentowana w mediach, wywołała protesty organizacji działających na rzecz kobiet i środowiska prawniczego, które uznało ją za skandaliczną, nieetyczną i naruszającą elementarne zasady życia społecznego[53][54][55]. Choć została wycofana przez twórców 27 czerwca 2019 roku[56], kopie powstałych materiałów wciąż są dostępne w Internecie, a ich usunięcie jest praktycznie niemożliwe[57].

Przestępczość edytuj

Technologia deepfake pozwala na tworzenie materiałów oczerniających, kompromitujących, stawiających ofiary w złym świetle, niszczenia ich reputacji i naruszenia dóbr osobistych[40][41]. Mogą one zostać użyte do szantażu, próby wyłudzenia pieniędzy w zamian za brak publikacji w Internecie.

W analizach DARPA zwrócono uwagę na utrudnienie pracy organów ścigania i sądów. Filmy deepfake, przedstawiające popełnienie przestępstwa, mogą stać się materiałem dowodowym dla policji lub prokuratury i w konsekwencji doprowadzić do skazania lub ukarania osoby, która nie popełniła przestępstwa, a jej wizerunek został jedynie użyty w filmie. Technologia może być wykorzystywana do nieuczciwej konkurencji przez przedsiębiorców poprzez tworzenie kompromitujących materiałów oczerniających inne firmy lub ich zarządy. Ponadto dyskredytować kandydatów na ważne urzędy i spowodować trudne do naprawienia straty wizerunkowe oraz finansowe[5].

Kwestie prawne edytuj

Szybki rozwój technologii deepfake spowodował, że przepisy prawne większości krajów nie obejmują zagadnień, które mogą stać się przedmiotem spraw sądowych. Ponadto brakuje definicji prawnych zjawiska, a organy ścigania nie dysponują narzędziami, które mogłyby znaleźć zastosowanie do prewencji lub ukarania sprawców. W polskim systemie prawnym deepfake nie został uregulowany. Zaangażowanie policji i prokuratury jest możliwe w przypadku materiałów o charakterze pornograficznym[58].

Pierwsze próby regulacji prawnych zostały podjęte w Stanach Zjednoczonych i Chinach[59][60]:

  1. W 2018 roku amerykański senator Ben Sasse zgłosił projekt ustawy zakazującej preparowanie nagrań audiowizualnych, który nie został przyjęty między innymi z uwagi na problemy definicyjne[7].
  2. W 2019 roku Yvette Clarke, członkini Izby Reprezentantów Stanów Zjednoczonych, zaproponowała oznaczanie materiałów deepfake specjalnym znakiem wodnym, który umożliwiłby ich szybką identyfikację[61].
  3. W październiku 2019 roku Gavin Newsom, gubernator stanu Kalifornia, podpisał ustawę zakazującą publikacji materiałów deepfake w okresie 60 dni do wyborów, w celu uniknięcia manipulacją przebiegu głosowania[62][63][64].
  4. W kwietniu 2019 roku w stanie Kalifornia zakazano publikacji materiałów pornograficznych bez zgody przedstawionych w nim osób, co miało stanowić odpowiedź na materiały o charakterze deepfake, krzywdzące kobiety[65][66].
  5. Od marca 2020 w Chinach obowiązują przepisy prawa walczące z nieoznaczonymi deepfake'ami[59].

Obrona przed deepfake edytuj

  • Uciekanie od sposobów działania podobnych do znanych metod między innymi wyłudzania pieniędzy „na wnuczka” czy „na policjanta”. Zmiana schematów komunikacyjnych z opierających się na poleceniach głosowych, rozmowach telefonicznych czy rozmowach wideo na przykład wiadomości SMS lub wiadomości e-mail[67].
  • Szkolenie kadry pod kątem zabezpieczeń i cyberprzestępczości. Uświadamianie o tym, czym jest deepfake oraz jak jemu przeciwdziałać
  • Wspomaganie i rozwój systemów bezpieczeństwa w środowiskach teleinformatycznych.

Zobacz też edytuj

Przypisy edytuj

  1. a b c John Brandon, Terrifying high-tech porn: Creepy ‘deepfake’ videos are on the rise [online], Fox News, 16 lutego 2018 [dostęp 2019-08-14] (ang.).
  2. a b Oscar Schwartz, You thought fake news was bad? Deep fakes are where truth goes to die, „The Guardian”, 12 listopada 2018, ISSN 0261-3077 [dostęp 2019-08-14] (ang.).
  3. Rafał Tomański, Facebook walczy z fake newsami przed wyborami w Azji [online], Business Insider, 23 stycznia 2019 [dostęp 2019-08-16] [zarchiwizowane z adresu 2019-08-16] (pol.).
  4. Jason Koebler, Samantha Cole, We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now [online], Vice, 24 stycznia 2018 [dostęp 2019-08-14] (ang.).
  5. a b c d e Rob Toews, Deepfakes Are Going To Wreak Havoc On Society. We Are Not Prepared. [online], Forbes [dostęp 2021-03-17] (ang.).
  6. a b Grace Shao, What 'deepfakes' are and how they may be dangerous [online], CNBC, 14 października 2019 [dostęp 2021-03-17] (ang.).
  7. a b Ilona Dąbrowska, Deepfake͵ nowy wymiar internetowej manipulacji, „Zarządzanie Mediami”, 8 (2), 2020.
  8. a b c d e Lisa Eadicicco, 08:42 14 Lip, 133 458, Niebezpieczny internetowy trend może przyczynić się do zniszczenia twojej reputacji. Nikt nie wie, co z nim zrobić [online], Business Insider, 14 lipca 2019 [dostęp 2019-08-16] (pol.).
  9. W amerykańskim muzeum zrobisz sobie selfie z Dalim [online], naEKRANIE.pl [dostęp 2021-03-18] (pol.).
  10. Salvador Dali robi selfie ze zwiedzającymi muzeum - Antyradio, www.antyradio.pl, 1557 [dostęp 2021-03-18] (pol.).
  11. Too real? Deepfake Putin, Kim Jong Un ads pulled from U.S. debate [online], Global News [dostęp 2021-03-17] (ang.).
  12. Deepfake queen to deliver Channel 4 Christmas message. BBC News (online), 23 grudnia 2020. [dostęp 2021-01-23]. (ang.).
  13. Bruce Haring: Queen Elizabeth ‘Deepfake’ Message Jabs Prince Harry & Meghan, Prince Andrew. Deadline (online), 26 grudnia 2020. [dostęp 2021-01-23]. (ang.).
  14. Max Miller: Framestore reveals behind-the-scenes footage of deep fake Queen’s Speech. Broadcast (online), 19 stycznia 2021. [dostęp 2021-01-23]. (ang.).
  15. Ponad 11 mln użytkowników zobaczyło deepfake z Tomem Cruisem. 'Ta technologia rozwija się w szalonym tempie' [online], www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  16. Przerażająco realistyczny deepfake Toma Cruise’a hitem Internetu. Miliony wyświetleń w sieci [online], www.komputerswiat.pl, 3 marca 2021 [dostęp 2021-03-17] (pol.).
  17. a b Facebook i Microsoft chcą skutecznie walczyć z deepfake’ami. 10 mln dolarów na nowe narzędzia [online], www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  18. Przyszłość deepfake'ów - naucz się żyć w świecie fałszu - PTSP.pl [online], Polskie Towarzystwo Studiów nad Przyszłością, 12 października 2020 [dostęp 2021-03-17] (pol.).
  19. Creating a dataset and a challenge for deepfakes [online], ai.facebook.com [dostęp 2021-03-17] (pol.).
  20. Nie daj się oszukać! Facebook i Microsoft ogłaszają walkę z DeepFake'ami [online], www.centrumxp.pl [dostęp 2021-03-17] (pol.).
  21. Amazon dołącza do Facebooka i Microsoftu w walce z DeepFake'ami [online], www.centrumxp.pl [dostęp 2021-03-17] (pol.).
  22. AWS supports the Deepfake Detection Challenge with competition data and AWS credits [online], Amazon Web Services, 21 października 2019 [dostęp 2021-03-17] (ang.).
  23. Ashish Jaiman, Deepfake detection is super hard! [online], Medium, 7 lipca 2020 [dostęp 2021-03-17] (ang.).
  24. DARPA Is Taking On the Deepfake Problem [online], Nextgov.com [dostęp 2021-03-17] (ang.).
  25. DARPA Is Taking On the Deepfake Problem [online], Defense One [dostęp 2021-03-17] (ang.).
  26. DARPA chce stworzyć narzędzia do rozpoznawania tzw. deep fake'ów - CyberDefence24 [online], www.cyberdefence24.pl [dostęp 2021-03-17].
  27. DARPA spent $68 million on technology to spot deepfakes [online], Futurism [dostęp 2021-03-17].
  28. NATO Strategic Communications Centre of Excellence (NATO StratCom COE) – European Sources Online [online], www.europeansources.info [dostęp 2021-03-18].
  29. The Role of Deepfakes in Malign Influence Campaigns | StratCom [online], www.stratcomcoe.org [dostęp 2021-03-18].
  30. a b Facebook pomógł stworzyć kurs wykrywania deepfake [online], ANDROID.COM.PL - społeczność entuzjastów technologii, 18 grudnia 2019 [dostęp 2021-03-17] (pol.).
  31. Deepfake [online], www.reuters.com [dostęp 2021-03-17] (ang.).
  32. Facebook i Reuters w kursie online uczą rozpoznawania deepfake’ów [online], www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  33. Facebook będzie usuwał z serwisu materiały typu deepfake. „Dobre posunięcie, ale konieczna edukacja” [online], www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  34. Associated Press, YouTube to remove ‘deepfakes’ and ‘birther’ videos ahead of 2020 election [online], MarketWatch [dostęp 2021-03-17] (ang.).
  35. Help us shape our approach to synthetic and manipulated media [online], blog.twitter.com [dostęp 2021-03-17] (ang.).
  36. Twitter Just Released Its Plan To Deal With Deepfakes [online], BuzzFeed News [dostęp 2021-03-17] (ang.).
  37. a b Prosty sposób na deepfakes. Skuteczny? – Sztuczna Inteligencja [online] [dostęp 2021-03-17] (pol.).
  38. Tom Maxwell, Deepfake videos of Tom Cruise show the technology's threat to society is very real [online], Input [dostęp 2021-03-17] (ang.).
  39. Thomas Davis, How Deepfake Technology Can Become More Dangerous Than a Nuclear Weapon [online], Medium, 15 stycznia 2020 [dostęp 2021-03-17] (ang.).
  40. a b c "Podróbka" Toma Cruise'a podbiła Internet. Eksperci przestrzegają przed deepfake'ami [online], naTemat.pl [dostęp 2021-03-17] (pol.).
  41. a b Deepfakes: A threat to democracy or just a bit of fun?, „BBC News”, 23 stycznia 2020 [dostęp 2021-03-17] (ang.).
  42. The rise of the deepfake and the threat to democracy [online], the Guardian [dostęp 2021-03-17] (ang.).
  43. Introducing deepfakes • MediaScopium [online], MediaScopium, 9 maja 2018 [dostęp 2021-03-17] (ang.).
  44. Extinction Rebellion s'empare des deepfakes [online], Journalism.design, 15 kwietnia 2020 [dostęp 2021-03-17] (fr.).
  45. XR Belgium posts deepfake of Belgian premier linking Covid-19 with climate crisis [online], The Brussels Times, 14 kwietnia 2020 [dostęp 2021-03-17] (ang.).
  46. Deepfake porn is ruining women’s lives. Now the law may finally ban it. [online], MIT Technology Review [dostęp 2021-03-17] (ang.).
  47. Urszula Lesman-2 września 2020, Deepfake podbija pornografię. Zmanipulowane filmy z gwiazdami [online], Cyfrowa, 2 września 2020 [dostęp 2021-03-17] (pol.).
  48. A.B.C. News, Video: Scarlett Johansson fights back against 'deep-fake' porn [online], ABC News [dostęp 2021-03-17] (ang.).
  49. Isobel Asher Hamilton, Scarlett Johansson says trying to stop people making deepfake porn videos of her is a 'lost cause' [online], Business Insider [dostęp 2021-03-17].
  50. Janko Roettgers, Janko Roettgers, Porn Producers Offer to Help Hollywood Take Down Deepfake Videos [online], Variety, 21 lutego 2018 [dostęp 2021-03-17] (ang.).
  51. e, Deepfakes: Auch Reddit verbannt Fake-Porn [online], heise online [dostęp 2021-03-17] (niem.).
  52. Deepnude: The Horrifying App Undressing Women [online], www.vice.com [dostęp 2021-03-17] (ang.).
  53. Skandaliczna aplikacja "rozbierająca" ubrane kobiety już dostępna. "Inwazja w seksualną prywatność" [online], INNPoland.pl [dostęp 2021-03-17] (pol.).
  54. Katyanna Quach, DeepNude deep-nuked: AI photo app stripped clothes from women to render them naked. Now, it's stripped from web [online], www.theregister.com [dostęp 2021-03-17] (ang.).
  55. Lux Alptraum, The Scariest Thing About DeepNude Wasn’t the Software [online], Medium, 16 lipca 2019 [dostęp 2021-03-17] (ang.).
  56. [Here is the brief history...] [online], Twitter [dostęp 2021-03-17] (ang.).
  57. James Vincent, Copies of AI deepfake app DeepNude are easily accessible online — and always will be [online], The Verge, 3 lipca 2019 [dostęp 2021-03-17] (ang.).
  58. Czy deepfake - wstawianie twarzy celebrytów lub znajomych do filmów pornograficznych - jest legalny? [online], Bezprawnik, 1 lutego 2018 [dostęp 2021-03-18] (pol.).
  59. a b l, Technologia deepfake wymaga regulacji - komputerowe przeróbki stają się zagrożeniem [online], Prawo.pl, 25 stycznia 2020 [dostęp 2021-03-18] (pol.).
  60. Epoka niepewności, czyli deepfake, jako nowe narzędzie dezinformacji [online], www.ey.com [dostęp 2021-03-18] (pol.).
  61. Clarke introduces bill to combat high-tech altered videos [online], Brooklyn Eagle, 14 czerwca 2019 [dostęp 2021-03-18] (ang.).
  62. Colin Lecher, California has banned political deepfakes during election season [online], The Verge, 7 października 2019 [dostęp 2021-03-18] (ang.).
  63. California makes ‘deepfake’ videos illegal, but law may be hard to enforce [online], the Guardian, 7 października 2019 [dostęp 2021-03-18] (ang.).
  64. Newsom Signs Bill Banning 'Deep Fakes' Within 60 Days Of Elections [online], 4 października 2019 [dostęp 2021-03-18] (ang.).
  65. California cracks down on political and pornographic deepfakes [online], Engadget [dostęp 2021-03-18] (ang.).
  66. Bill Text - AB-602 Depiction of individual using digital or electronic technology: sexually explicit material: cause of action. [online], leginfo.legislature.ca.gov [dostęp 2021-03-18].
  67. Biznes w czasach deepfake [online], MIT Sloan Management Review Polska, 13 września 2019 [dostęp 2019-09-25] (pol.).