Deepfake

technika obróbki obrazu

Deepfake (zbitka wyrazowa od ang. deep learning „głębokie uczenie” oraz fake „fałszywy”[1]) – technika obróbki obrazu, polegająca na łączeniu obrazów twarzy ludzkich przy użyciu technik sztucznej inteligencji[1][2].

Przykład przerabiania ludzkiej twarzy z użyciem technologii deepfake.

Technika stosowana jest do łączenia i nakładania obrazów nieruchomych i ruchomych na obrazy lub filmy źródłowe przy użyciu komputerowych systemów uczących się. Uzyskane w ten sposób łudząco realistyczne ruchome obrazy stosowane są w nagraniach filmowych, stwarzając możliwości manipulacji poprzez np. niemożliwą do odróżnienia przez widza zamianę twarzy aktorów występujących w filmie. Może to prowadzić do skompromitowania osoby poprzez fałszywe „obsadzenie jej” np. w roli w filmie pornograficznym[1][2]. Jednym z zagrożeń fałszywymi informacjami jest możliwość wpłynięcia na wyniki wyborów[3].

Pojęcie deepfake pojawiło się po raz pierwszy w końcu 2017, a nazwę zaczerpnięto od pseudonimu użytkownika, który opublikował kilka filmów porno zrealizowanych przy użyciu algorytmu uczenia maszynowego z wykorzystaniem wizerunków m.in. Gal Gadot, Maisie Williams i Taylor Swift[4].

Według raportu Deeptrace technologia rozwija się bardzo szybko. Na początku 2019 roku w internecie zaprezentowano 7964 filmów deepfake, dziesięć miesięcy później ich liczba wynosiła 14678[5]. Wiele kwestii prawnych związanych z technologią nie zostało jeszcze uregulowanych[6].

PrzykładyEdytuj

Kim Dzong Un o demokracji. Przemówienie wykonane technologią deepfake.

Materiały stworzone za pomocą technologii deepfake można podzielić na[7]:

  • Rozrywkowe – mają charakter humorystyczny, często dotyczą bohaterów popkultury lub postaci fikcyjnych.
  • Edukacyjny – są wykorzystywane między innymi przez instytucje kultury.
  • Dezinformacyjne – mają charakter fake newsów, mogą dotyczyć osób publicznych i wprowadzać odbiorcę w błąd.
  • Dyskredytacyjne – służą ośmieszeniu, kompromitacji. Mogą być wykorzystane do ataku, działań kontrowersyjnych lub przestępczych.

Przykłady:

  • film z twarzą Kita Haringtona, w którym grany przez niego Jon Snow przeprasza za zakończenie serialu „Gra o tron[8]
  • wideoklipy, w których twarz Nicholasa Cage’a została nałożona na słynne sceny z filmów (początek 2018)[8]
  • nagranie przedstawiające Baracka Obamę, wypowiadającego ostrzeżenia (których w rzeczywistości nigdy nie powiedział) przed zagrożeniami, jakie niesie nieetyczne zastosowanie technologii cyfrowych (kwiecień 2018)[8]
  • nagranie z twarzą Marka Zuckerberga, ostrzegającego przed zagrożeniami, jakie niosą cyfrowe technologie (czerwiec 2019)[8]
  • udostępnienie kontrowersyjnej aplikacji internetowej DeepNude pozwalającej na tworzenie naturalistycznych obrazów nagich kobiet za pomocą przesłanych do aplikacji zdjęć prawdziwych osób (czerwiec 2019)[8]
  • w 2019 roku Muzeum Salvadora Dalí na Florydzie uruchomiło ekspozycję "Dali żyje", która dzięki technologii deepfake umożliwia zwiedzającym rozmowę z artystą i wspólne pozowanie do zdjęć[9][10]
  • film z przemówieniem Kim Dzong Una na temat demokracji z 2020 roku[11]
  • zainscenizowane przemówienie królowej brytyjskiej Elżbiety II, nadane przez stację telewizyjną Channel 4 (grudzień 2020)[12][13][14]
  • film z 2021 roku z aktorem Tomem Cruise’em[15][16].

Badania i przeciwdziałanie  Edytuj

Grupa DFDCEdytuj

W odpowiedzi na zagrożenia związane z rozwojem technologii zawiązano grupę DFDC (ang. Deepfake Detection Challenge), w której pracowali specjaliści z firm Facebook i Microsoft oraz naukowcy z Massachusetts Institute of Technology, Uniwersytetu Oksfordzkiego oraz Uniwersytetów z Berkeley i Maryland[17][18]. Inicjatywa została powołana w sierpniu 2019 roku[19].

Badania koncentrowały się nad stworzeniem narzędzia umożliwiającego wykrycie filmów deepfake, walkę ze zmanipulowanymi treściami oraz działania edukacyjne. Na wsparcie grupy DFDC Facebook przeznaczył 10 mln dolarów[17][20].  W 2019 roku do grupy DFDC dołączył Amazon. Firma zdecydowała się wesprzeć badania naukowe kwotą miliona dolarów[21][22].

Analizy przeprowadzone w ramach grupy DFDC potwierdziły trudności z wykrywaniem materiałów deepfake przy pomocy sztucznej inteligencji i wytyczyły obszary, w których niezbędne są kolejne prace. W 2020 roku stworzone w ramach projektu algorytmy uzyskiwały skuteczność na poziomie 65%, a w pozostałych przypadkach system nie rozpoznawał materiału deepfake lub fałszywie diagnozował jego wystąpienia w materiałach prawdziwych[23].

DARPAEdytuj

Amerykańska Agencja DARPA (ang. Defense Advanced Research Projects Agency) działająca w strukturach Departamentu Obrony Stanów Zjednoczonych bada technologię deepfake i angażuje się w działania mające na celu ograniczyć jej negatywne skutki, w tym: dezinformację, chaos informacyjny, manipulowanie opinią publiczną, wykorzystanie technologii do popełniania przestępstw lub naruszania zasad demokracji. W ramach projektu Semantic Forensics (SemaFor) pracuje nad metodami wykrywania zmanipulowanych treści, w ramach projektu Media Forensics (MediFor) planuje działania prewencyjne[24][25][26].

Na prace związane z wykrywaniem technologii deepfake DARPA przeznaczyła 68 milionów dolarów[27].

NATO StratComEdytuj

Technologia była przedmiotem zainteresowania NATO Strategic Communication Center, międzynarodowej organizacji wojskowej, działającej z akredytacją NATO[28]. W listopadzie 2019 roku opublikowano raport „The Role of Deepfakes in Malign Influence Campaigns”, w którym scharakteryzowano zjawisko, omówiono prognozy rozwojowe oraz potencjalne zagrożenia[29][30] (podobne do zdiagnozowanych przez DARPA).

Agencja ReutersEdytuj

Agencja Reuters prowadzi projekty mające na celu ograniczyć negatywne skutki dezinformacyjne, które może nieść rozwój technologii deepfake. W 2019 roku we współpracy z Facebookiem udostępniła w internecie nieodpłatne materiały edukacyjne dla dziennikarzy, pozwalające na zapoznanie się z technologią i ułatwienie identyfikacji dostarczanych im materiałów[31][32][33]. Projekt ma zapobiegać manipulowaniem dziennikarzami i tym samym tworzeniu treści w oparciu o fikcyjne źródła, które wprowadzą odbiorców błąd oraz osłabią zaufanie opinii publicznej do mediów.

Serwisy społecznościoweEdytuj

W 2020 roku firma Facebook poinformowała, że będzie usuwała ze swojego serwisu materiały stworzone za pomocą technologii deepfake, które mogą wprowadzić użytkowników w błąd, z wyjątkiem materiałów mających wyłącznie satyryczny lub żartobliwy charakter[34][35].

W lutym 2020 roku Twitter zapowiedział, że będzie usuwać zmanipulowane treści, powstałe za pomocą technologii deepfake i dezinformujące użytkowników[36][37].

ZagrożeniaEdytuj

Wraz z rozwojem technologii materiały deepfake, tworzone przez sztuczną inteligencję, staną się praktycznie niemożliwe do wykrycia i odróżnienia od prawdziwych przez użytkowników internetu, co niesie ze sobą wiele zagrożeń[6][38][39].

PolitykaEdytuj

Przemówienie Władimira Putina, ostrzegające Stany Zjednoczone przed ingerencją w wybory, wykonane technologią deepfake.

Nagrania polityków bazujące na technologii deepfake mogą prowadzić do skandali dyplomatycznych, a w skrajnym przypadku wywołać panikę społeczną, o ile tematyka wystąpienia będzie dotyczyć spraw niebezpiecznych, takich jak np. wypowiedzenie wojny lub zapowiedź użycia broni masowego rażenia[38][5][40]. Technologia może zostać użyta do kompromitacji przeciwników politycznych i prób manipulacji głosami wyborców[41][42][43].

Deepfake może ponadto przyczynić się do szkody wizerunkowej, wynikającej z ośmieszenia polityka, jak miało to miejsce w przypadku byłego prezydenta Argentyny. Mauricio Macri padł ofiarą materiału deepfake, w którym jego twarz została zamieniona na twarz Adolfa Hitlera[44]. W 2019 roku w internecie ukazał się film dyskredytujący Sophie Wilmès. Zawierał zmanipulowane technologią deepfake absurdalne przemówienie, w którym Sophie Wilmès sugerowała związek pandemii COVID-19 z wycinką lasów i kryzysem klimatycznym. Część widzów uznała film za autentyczny i kpiła z wypowiedzi, która naprawdę nigdy nie została wygłoszona[45][46].

Dezinformacja i chaosEdytuj

Rozwój technologii deepfake może przyczynić się do dezinformacji i chaosu, manipulacji opinią publiczną, negatywnie wpływać na zaufanie publiczne[41],  spowodować osłabienie zaufania do mediów i przekazów, utrudnić pracę dziennikarzom, którzy nie będą w stanie odróżnić materiałów prawdziwych od fałszywych[5].

Z tej przyczyny Agencja Reuters prowadzi projekty edukacyjne, skierowane do pracowników mediów[31].

Przemoc wobec kobietEdytuj

Deepfake może być wykorzystywany jako narzędzie przemocy wobec kobiet[47]. Z raportu Deeptrace wynika, że 96% filmów deepfake, powstałych od września 2019 roku, zawiera treści pornograficzne. Przedstawiają kobiety, których wizerunki zostały wykorzystane bez wiedzy i zgody poszkodowanych[5]. Ofiarą padła między innymi aktorka Scarlett Johansson[48][49][50].

Materiały pornograficzne oparte na technologii deepfake, stały się popularne w 2017 roku, głównie na platformie Reddit[51]. W lutym 2018 roku Reddit zakazał publikacji pornografii deepfake[52].

Zarazem w czerwcu 2019 roku powstała aplikacja DeepNude, umożliwiająca usuwanie ubrań z fotografii kobiet[53]. Była szeroko komentowana w mediach, wywołała protesty organizacji działających na rzecz kobiet i środowiska prawniczego, które uznało ją za skandaliczną, nieetyczną i naruszającą elementarne zasady życia społecznego[54][55][56]. Choć została wycofana przez twórców 27 czerwca 2019 roku[57], kopie powstałych materiałów wciąż są dostępne w internecie, a ich usunięcie jest praktycznie niemożliwe[58].

PrzestępczośćEdytuj

Technologia deepfake pozwala na tworzenie materiałów oczerniających, kompromitujących, stawiających ofiary w złym świetle, niszczenia ich reputacji i naruszenia dóbr osobistych[41][42]. Mogą one zostać użyte do szantażu, próby wyłudzenia pieniędzy w zamian za brak publikacji w internecie.

W analizach DARPA zwrócono uwagę na utrudnienie pracy organów ścigania i sądów. Filmy deepfake, przedstawiające popełnienie przestępstwa, mogą stać się materiałem dowodowym dla policji lub prokuratury i w konsekwencji doprowadzić do skazania lub ukarania osoby, która nie popełniła przestępstwa, a jej wizerunek został jedynie użyty w filmie. Technologia może być wykorzystywana do nieuczciwej konkurencji przez przedsiębiorców poprzez tworzenie kompromitujących materiałów oczerniających inne firmy lub ich zarządy. Ponadto dyskredytować kandydatów na ważne urzędy i spowodować trudne do naprawienia straty wizerunkowe oraz finansowe[5].

Kwestie prawneEdytuj

Szybki rozwój technologii deepfake spowodował, że przepisy prawne większości krajów nie obejmują zagadnień, które mogą stać się przedmiotem spraw sądowych. Ponadto brakuje definicji prawnych zjawiska, a organy ścigania nie dysponują narzędziami, które mogłyby znaleźć zastosowanie do prewencji lub ukarania sprawców. W polskim systemie prawnym deepfake nie został uregulowany. Zaangażowanie policji i prokuratury jest możliwe w przypadku materiałów o charakterze pornograficznym[59].

Pierwsze próby regulacji prawnych zostały podjęte w Stanach Zjednoczonych i Chinach[60][61]:

  1. W 2018 roku amerykański senator Ben Sasse zgłosił projekt ustawy zakazującej preparowanie nagrań audiowizualnych, który nie został przyjęty między innymi z uwagi na problemy definicyjne[7].
  2. W 2019 roku Yvette Clarke, członkini Izby Reprezentantów Stanów Zjednoczonych, zaproponowała oznaczanie materiałów deepfake specjalnym znakiem wodnym, który umożliwiłby ich szybką identyfikację[62].
  3. W październiku 2019 roku Gavin Newsom, gubernator stanu Kalifornia, podpisał ustawę zakazującą publikacji materiałów deepfake w okresie 60 dni do wyborów, w celu uniknięcia manipulacją przebiegu głosowania[63][64][65].
  4. W kwietniu 2019 roku w stanie Kalifornia zakazano publikacji materiałów pornograficznych bez zgody przedstawionych w nim osób, co miało stanowić odpowiedź na materiały o charakterze deepfake, krzywdzące kobiety[66][67].
  5. Od marca 2020 w Chinach obowiązują przepisy prawa walczące z nieoznaczonymi deekfakami[60].

Obrona przed deepfakeEdytuj

  • Uciekanie od sposobów działania podobnych do znanych metod między innymi wyłudzania pieniędzy „na wnuczka” czy „na policjanta”. Zmiana schematów komunikacyjnych z opierających się na poleceniach głosowych, rozmowach telefonicznych czy rozmowach wideo na przykład wiadomości SMS lub wiadomości e-mail[68].
  • Szkolenie kadry pod kątem zabezpieczeń i cyberprzestępczości. Uświadamianie o tym, czym jest deepfake oraz jak jemu przeciwdziałać
  • Wspomaganie i rozwój systemów bezpieczeństwa w środowiskach teleinformatycznych.

Zobacz teżEdytuj

PrzypisyEdytuj

  1. a b c John Brandon, Terrifying high-tech porn: Creepy ‘deepfake’ videos are on the rise, Fox News, 16 lutego 2018 [dostęp 2019-08-14] (ang.).
  2. a b Oscar Schwartz, You thought fake news was bad? Deep fakes are where truth goes to die, „The Guardian”, 12 listopada 2018, ISSN 0261-3077 [dostęp 2019-08-14] (ang.).
  3. Rafał Tomański, Facebook walczy z fake newsami przed wyborami w Azji, Business Insider, 23 stycznia 2019 [dostęp 2019-08-16] [zarchiwizowane z adresu 2019-08-16] (pol.).
  4. Jason Koebler, Samantha Cole, We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now, Vice, 24 stycznia 2018 [dostęp 2019-08-14] (ang.).
  5. a b c d e Rob Toews, Deepfakes Are Going To Wreak Havoc On Society. We Are Not Prepared., Forbes [dostęp 2021-03-17] (ang.).
  6. a b Grace Shao, What 'deepfakes' are and how they may be dangerous, CNBC, 14 października 2019 [dostęp 2021-03-17] (ang.).
  7. a b Ilona Dąbrowska, Deepfake͵ nowy wymiar internetowej manipulacji, „Zarządzanie Mediami”, 8 (2), 2020.
  8. a b c d e Lisa Eadicicco, 08:42 14 Lip, 133 458, Niebezpieczny internetowy trend może przyczynić się do zniszczenia twojej reputacji. Nikt nie wie, co z nim zrobić, Business Insider, 14 lipca 2019 [dostęp 2019-08-16] (pol.).
  9. W amerykańskim muzeum zrobisz sobie selfie z Dalim, naEKRANIE.pl [dostęp 2021-03-18] (pol.).
  10. Salvador Dali robi selfie ze zwiedzającymi muzeum - Antyradio, www.antyradio.pl, 1557 [dostęp 2021-03-18] (pol.).
  11. Too real? Deepfake Putin, Kim Jong Un ads pulled from U.S. debate, Global News [dostęp 2021-03-17] (ang.).
  12. Deepfake queen to deliver Channel 4 Christmas message (ang.). BBC News (online), 23 grudnia 2020. [dostęp 2021-01-23].
  13. Bruce Haring: Queen Elizabeth ‘Deepfake’ Message Jabs Prince Harry & Meghan, Prince Andrew (ang.). Deadline (online), 26 grudnia 2020. [dostęp 2021-01-23].
  14. Max Miller: Framestore reveals behind-the-scenes footage of deep fake Queen’s Speech (ang.). Broadcast (online), 19 stycznia 2021. [dostęp 2021-01-23].
  15. Ponad 11 mln użytkowników zobaczyło deepfake z Tomem Cruisem. 'Ta technologia rozwija się w szalonym tempie', www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  16. Przerażająco realistyczny deepfake Toma Cruise’a hitem internetu. Miliony wyświetleń w sieci, www.komputerswiat.pl, 3 marca 2021 [dostęp 2021-03-17] (pol.).
  17. a b Facebook i Microsoft chcą skutecznie walczyć z deepfake’ami. 10 mln dolarów na nowe narzędzia, www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  18. Przyszłość deepfake'ów - naucz się żyć w świecie fałszu - PTSP.pl, Polskie Towarzystwo Studiów nad Przyszłością, 12 października 2020 [dostęp 2021-03-17] (pol.).
  19. Creating a dataset and a challenge for deepfakes, ai.facebook.com [dostęp 2021-03-17] (pol.).
  20. http://gogomedia pl office@gogomedia.pl GOGOmedia, Nie daj się oszukać! Facebook i Microsoft ogłaszają walkę z DeepFake'ami, www.centrumxp.pl [dostęp 2021-03-17] (pol.).
  21. http://gogomedia pl office@gogomedia.pl GOGOmedia, Amazon dołącza do Facebooka i Microsoftu w walce z DeepFake'ami, www.centrumxp.pl [dostęp 2021-03-17] (pol.).
  22. AWS supports the Deepfake Detection Challenge with competition data and AWS credits, Amazon Web Services, 21 października 2019 [dostęp 2021-03-17] (ang.).
  23. Ashish Jaiman, Deepfake detection is super hard!, Medium, 7 lipca 2020 [dostęp 2021-03-17] (ang.).
  24. DARPA Is Taking On the Deepfake Problem, Nextgov.com [dostęp 2021-03-17] (ang.).
  25. DARPA Is Taking On the Deepfake Problem, Defense One [dostęp 2021-03-17] (ang.).
  26. DARPA chce stworzyć narzędzia do rozpoznawania tzw. deep fake'ów - CyberDefence24, www.cyberdefence24.pl [dostęp 2021-03-17].
  27. DARPA spent $68 million on technology to spot deepfakes, Futurism [dostęp 2021-03-17].
  28. NATO Strategic Communications Centre of Excellence (NATO StratCom COE) – European Sources Online, www.europeansources.info [dostęp 2021-03-18].
  29. The Role of Deepfakes in Malign Influence Campaigns | StratCom, www.stratcomcoe.org [dostęp 2021-03-18].
  30. Facebook, www.facebook.com [dostęp 2021-03-18].
  31. a b Facebook pomógł stworzyć kurs wykrywania deepfake, ANDROID.COM.PL - społeczność entuzjastów technologii, 18 grudnia 2019 [dostęp 2021-03-17] (pol.).
  32. Deepfake, www.reuters.com [dostęp 2021-03-17] (ang.).
  33. Facebook i Reuters w kursie online uczą rozpoznawania deepfake’ów, www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  34. Facebook będzie usuwał z serwisu materiały typu deepfake. „Dobre posunięcie, ale konieczna edukacja”, www.wirtualnemedia.pl [dostęp 2021-03-17] (pol.).
  35. Associated Press, YouTube to remove ‘deepfakes’ and ‘birther’ videos ahead of 2020 election, MarketWatch [dostęp 2021-03-17] (ang.).
  36. Help us shape our approach to synthetic and manipulated media, blog.twitter.com [dostęp 2021-03-17] (ang.).
  37. Twitter Just Released Its Plan To Deal With Deepfakes, BuzzFeed News [dostęp 2021-03-17] (ang.).
  38. a b Prosty sposób na deepfakes. Skuteczny? – Sztuczna Inteligencja [dostęp 2021-03-17] (pol.).
  39. Tom Maxwell, Deepfake videos of Tom Cruise show the technology's threat to society is very real, Input [dostęp 2021-03-17] (ang.).
  40. Thomas Davis, How Deepfake Technology Can Become More Dangerous Than a Nuclear Weapon, Medium, 15 stycznia 2020 [dostęp 2021-03-17] (ang.).
  41. a b c "Podróbka" Toma Cruise'a podbiła Internet. Eksperci przestrzegają przed deepfake'ami, naTemat.pl [dostęp 2021-03-17] (pol.).
  42. a b Deepfakes: A threat to democracy or just a bit of fun?, „BBC News”, 23 stycznia 2020 [dostęp 2021-03-17] (ang.).
  43. The rise of the deepfake and the threat to democracy, the Guardian [dostęp 2021-03-17] (ang.).
  44. Introducing deepfakes • MediaScopium, MediaScopium, 9 maja 2018 [dostęp 2021-03-17] (ang.).
  45. Extinction Rebellion s'empare des deepfakes, Journalism.design, 15 kwietnia 2020 [dostęp 2021-03-17] (fr.).
  46. XR Belgium posts deepfake of Belgian premier linking Covid-19 with climate crisis, The Brussels Times, 14 kwietnia 2020 [dostęp 2021-03-17] (ang.).
  47. Deepfake porn is ruining women’s lives. Now the law may finally ban it., MIT Technology Review [dostęp 2021-03-17] (ang.).
  48. Urszula Lesman-2 września 2020, Deepfake podbija pornografię. Zmanipulowane filmy z gwiazdami, Cyfrowa, 2 września 2020 [dostęp 2021-03-17] (pol.).
  49. A.B.C. News, Video: Scarlett Johansson fights back against 'deep-fake' porn, ABC News [dostęp 2021-03-17] (ang.).
  50. Isobel Asher Hamilton, Scarlett Johansson says trying to stop people making deepfake porn videos of her is a 'lost cause', Business Insider [dostęp 2021-03-17].
  51. Janko Roettgers, Janko Roettgers, Porn Producers Offer to Help Hollywood Take Down Deepfake Videos, Variety, 21 lutego 2018 [dostęp 2021-03-17] (ang.).
  52. e, Deepfakes: Auch Reddit verbannt Fake-Porn, heise online [dostęp 2021-03-17] (niem.).
  53. Deepnude: The Horrifying App Undressing Women, www.vice.com [dostęp 2021-03-17] (ang.).
  54. Skandaliczna aplikacja "rozbierająca" ubrane kobiety już dostępna. "Inwazja w seksualną prywatność", INNPoland.pl [dostęp 2021-03-17] (pol.).
  55. Katyanna Quach, DeepNude deep-nuked: AI photo app stripped clothes from women to render them naked. Now, it's stripped from web, www.theregister.com [dostęp 2021-03-17] (ang.).
  56. Lux Alptraum, The Scariest Thing About DeepNude Wasn’t the Software, Medium, 16 lipca 2019 [dostęp 2021-03-17] (ang.).
  57. [Here is the brief history...], Twitter [dostęp 2021-03-17] (ang.).
  58. James Vincent, Copies of AI deepfake app DeepNude are easily accessible online — and always will be, The Verge, 3 lipca 2019 [dostęp 2021-03-17] (ang.).
  59. Czy deepfake - wstawianie twarzy celebrytów lub znajomych do filmów pornograficznych - jest legalny?, Bezprawnik, 1 lutego 2018 [dostęp 2021-03-18] (pol.).
  60. a b l, Technologia deepfake wymaga regulacji - komputerowe przeróbki stają się zagrożeniem, Prawo.pl, 25 stycznia 2020 [dostęp 2021-03-18] (pol.).
  61. Epoka niepewności, czyli deepfake, jako nowe narzędzie dezinformacji, www.ey.com [dostęp 2021-03-18] (pol.).
  62. Clarke introduces bill to combat high-tech altered videos, Brooklyn Eagle, 14 czerwca 2019 [dostęp 2021-03-18] (ang.).
  63. Colin Lecher, California has banned political deepfakes during election season, The Verge, 7 października 2019 [dostęp 2021-03-18] (ang.).
  64. California makes ‘deepfake’ videos illegal, but law may be hard to enforce, the Guardian, 7 października 2019 [dostęp 2021-03-18] (ang.).
  65. Newsom Signs Bill Banning 'Deep Fakes' Within 60 Days Of Elections, 4 października 2019 [dostęp 2021-03-18] (ang.).
  66. California cracks down on political and pornographic deepfakes, Engadget [dostęp 2021-03-18] (ang.).
  67. Bill Text - AB-602 Depiction of individual using digital or electronic technology: sexually explicit material: cause of action., leginfo.legislature.ca.gov [dostęp 2021-03-18].
  68. Biznes w czasach deepfake, MIT Sloan Management Review Polska, 13 września 2019 [dostęp 2019-09-25] (pol.).