Wikipedia

Geoffrey Hinton

Kanadyjsko-brytyjski informatyk

Geoffrey Everest Hinton CC FRS FRSC (ur. 6 grudnia 1947 w Wimbledonie)[1] – kanadyjsko-brytyjski informatyk, psycholog poznawczy, najbardziej znany ze swoich prac nad sztucznymi sieciami neuronowymi, jeden z pionierów sztucznej inteligencji, nazywany jej ojcem chrzestnym. Profesor emeritus (od 2014) Uniwersytetu w Toronto.

Geoffrey Everest Hinton
Ilustracja
Data i miejsce urodzenia

6 grudnia 1947
Wimbledon

Zawód, zajęcie

informatyk, psycholog poznawczy

Multimedia w Wikimedia Commons
Strona internetowa

Życiorys edytuj

Urodził się w 1947 r. w Wimbledonie, w rodzinie z tradycjami naukowymi. Jego prapradziadkiem był George Boole, żonaty z Mary Boole. Jego wujem był wynalazca Sebastian Hinton, stryjecznym dziadkiem matematyki i pisarz Charles Howard Hinton, który stworzył koncepcję czwartego wymiaru, kuzynką Joan Hinton, która była fizyczką nuklearną zatrudnioną przy projekcie Manhattan, stryjeczną ciotką pisarka i muzyczka Ethel Lilian Voynich. Jego ojcem był entomolog Howard Hinton[2]. Jego drugie imię pochodzi od innego krewnego, George’a Everesta, generalnego geodety Indii, na cześć którego najwyższemu szczytowi na Ziemi nadano nazwę Mount Everest[3].

Na University of Cambridge początkowo zamierzał studiować fizjologię i fizykę, po czym krótko zgłębiał filozofię, ale ostatecznie uzyskał dyplom w 1970 r. w zakresie psychologii eksperymentalnej. Po studiach krótko pracował jako stolarz, ale w 1972 r. wrócił do nauki. W 1977 r., na Uniwersytecie w Edynburgu, na podstawie rozprawy Relaxation and its Role in Vision uzyskał doktorat w zakresie prac nad sieciami neuronowymi[2]. Promotorem pracy był Christopher Longuet-Higgins[4][5][1]. Tematyka prowadzonych przez Hintona badań nie wzbudzała wówczas zainteresowania, stąd też trudno było o jej finansowanie. Hinton wyemigrował do Stanów Zjednoczonych, gdzie dołączył do grupy psychologów poznawczych jako postdoc na University of California, San Diego. W dwóch artykułach z 1986 r. spopularyzował również opracowane wyniku prac z Ronaldem J. Williamsem pojęcie propagacja wsteczna. Pozwoliła ona pokonać ograniczenia opisane wcześniej przez Marvina Minsky′ego[1].

Gdy w USA badania nad systemami głębokiego uczenia się i komputerowymi sieciami neuronowymi nie były doceniane, przeniósł się do Kanady[6]. W 1987 r. przyjął ofertę Canadian Institute of Advanced Researchand i zainaugurował tam program Learning in Machines and Brain[2], tworząc prężny ośrodek badawczy na Uniwersytecie w Toronto[6]. Od 1998 do 2001 r. pracował w Gatsby Computational Neuroscience Unit at University College London, po czym wrócił do Toronto[1]. W 2012 r. wraz z zespołem wygrał doroczny konkurs ImageNet, prezentując komputerowy system, który potrafił rozpoznać 1000 obiektów dzięki głębokiemu uczeniu. W 2013 r. jego firma DNNresearch Inc. została przejęta przez Google, a on sam pracował od tej pory dla tego koncernu[2].

W 2014 r. odszedł na uczelnianą emeryturę i założył w Toronto oddział Google Brain. Od 2017 r. pracował wolontariacko jako główny doradca naukowy Toronto’s Vector Institute w projekcie wdrożenia uczenia maszynowego na potrzeby kanadyjskiej opieki zdrowotnej i innych usług publicznych[1].

Badania naukowe edytuj

Hinton jest postrzegany jako wiodąca postać w nurcie badań naukowych głębokiego uczenia się[7][8][9][10][11].

Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim wynaleźli maszyny Boltzmanna[12]. Jego inny wkład w badania sieci neuronowych obejmują reprezentacje rozproszone, sieci neuronowe z opóźnieniem czasowym, mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów. W 2007 roku Hinton był współautorem artykułu dotyczącego uczenia się bez nadzoru zatytułowanego Uczenie się bez nadzoru transformacji obrazu[13]. Przystępne wprowadzenie do badań Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993 r.[14]

W czasie badań postdoktoral[15][16] w Uniwersytecie Kalifornijskim w San Diego, w 1986 r. Hinton wraz z Davidem Rumelhartem i Ronaldem J. Williamsem opublikowali pracę, która spopularyzowała algorytm propagacji wstecznej do uczenia wielowarstwowych sieci neuronowych[17]. Praca ta była ważna w popularyzacji propagacji wstecznej, lecz autorzy nie byli jedynymi, którzy zaproponowali takie podejście[18]. Automatyczne różnicowanie w trybie odwrotnym, którego szczególnym przypadkiem jest wsteczna propagacja, zostało zaproponowane przez Seppo Linnainmaa w 1970 r., a Paul Werbos zaproponował wykorzystanie go do uczenia sieci neuronowych w 1974 r.[19]

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego, pamięci, percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji[20][21]. Na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS) przedstawił nowy algorytm uczenia się sieci neuronowych, który nazywa algorytmem „Forward-Forward”. Ideą nowego algorytmu jest zastąpienie tradycyjnych przebiegów propagacji wstecznej w przód i w tył dwoma przebiegami w przód, jednym z dodatnimi (tj. rzeczywistymi) danymi, a drugim z ujemnymi danymi, które mogą być generowane wyłącznie przez sieć[22].

Promotor naukowców i kontynuatorów badań edytuj

 
W 2016, pracownicy grupy badań nad głębokim uczeniem się, od lewej do prawej, Ruslan „Russ” Salakhutdinov, Richard S. Sutton, Geoffrey Hinton, Yoshua Bengio i Steve Jurvetson

Hinton był promotorem wielu doktoratów[23], w Uniwersytecie w Toronto i Uniwersytecie Carnegie Mellon, z zakresu badań nad rozwojem sztucznej inteligencji: Richard Zemel[24][25], Radford Neal[26], Brendan Frey[27], Yee Whye Teh[28], Ruslan Salakhutdinov[29], Ilya Sutskever[30], późniejszy współzałożyciel i główny naukowiec firmy OpenAI[31]. W ramach prac na rozwojem sztucznej inteligencji, w badaniach postdoctoral[15][16] współpracował z naukowcami: Yann LeCun[32], Alex Graves[32], Zoubin Ghahramani[32], Peter Dayan[32], Sam Roweis[32], Max Welling[32].

Wyróżnienia i nagrody edytuj

Hinton został wybrany członkiem Royal Society FRS w 1998 r.[33] Był pierwszym laureatem nagrody Rumelharta w 2001 r.[34] W 2001 r. Hinton otrzymał tytuł doktora honoris causa Uniwersytetu w Edynburgu[35]. W 2005 r. otrzymał nagrodę IJCAI Award for Research Excellence za całokształt twórczości[36]. Został również odznaczony Złotym Medalem Herzberg Canada w 2011 r. w dziedzinie nauki i inżynierii[37]. W 2013 r. Hinton otrzymał tytuł doktora honoris causa Université de Sherbrooke[38]. W 2016 r. został wybrany członkiem zagranicznym National Academy of Engineering „za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”[39]. Otrzymał również nagrodę IEEE/RSE Wolfson James Clerk Maxwell Award w 2016 r.[40]

Hinton otrzymał w 2018 r. Nagrodę Turinga, często nazywaną „nagrodą Nobla w dziedzinie informatyki”, „za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się krytycznym elementem informatyki”[41]. Hinton otrzymał nagrodę wraz z Yannem LeCunem i Yoshuą Bengio, za swoją pracę nad głębokim uczeniem się[42]. Są oni czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia się”[43][44] i publicznie, wspólnie, wygłaszają wykłady[45][46]. Hinton i nagrodzeni uczeni zdobyli nagrodę Turinga za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się kluczowym elementem informatyki[47][48][49].

W 2018 r. został Kawalerem Orderu Kanady[50]. W 2021 r. otrzymał nagrodę Dickson Prize in Science od Carnegie Mellon University[51], a w 2022 r., wspólnie z Yan LeCun, Yoshua Bengio i Demisem Hassabisem nagrodę księżnej Asturii w kategorii badań naukowych[52].

Kontynuacja aktywności edytuj

Po tym, jak OpenAI wypuściła w 2023 r. kolejną wersję chatbota ChataGPT, ponad tysiąc ekspertów i badaczy technologii opublikowało list otwarty wzywający do trwającego pół roku moratorium na rozwój nowych systemów. Hinton nie był jednym z sygnatariuszy listu, gdyż nie chciał publicznie krytykować firmy Google jako jej pracownik. Wkrótce potem zdecydował się jednak na odejście z firmy, ze względu na to, że zmieniła politykę wobec AI i przyśpieszyła prace nad nią pod presją konkurencji. Hinton przyznał, że już w momencie, gdy podjął publiczną krytykę szybkiego rozwoju narzędzi AI, były one narzędziem do wytwarzania i szerzenia dezinformacji obejmującej zdjęcia, nagrania i teksty[6].

Przypisy edytuj

  1. ↑ a b c d e Thomas Haigh, Geoffrey E Hinton – A.M. Turing Award Laureate [online], amturing.acm.org [dostęp 2023-05-16].
  2. ↑ a b c d Poulomi Chatterjee, Geoffrey Hinton: When genius runs in the family [online], Analytics India Magazine, 24 marca 2022 [dostęp 2023-05-16] (ang.).
  3. ↑ Craig S. Smith, The Man Who Helped Turn Toronto Into a High-Tech Hotbed, New York Times, 23 czerwca 2017 [dostęp 2023-05-21] (ang.).
  4. ↑ Doktorat G.E. Hintona: Relaxation and its Role in Vision, Edinburgh: The University of Edinburgh, 1977 [dostęp 2023-05-12].
  5. ↑ Geoffrey E. Hinton, Relaxation and its Role in Vision, Ph.D. Thesis, Edinburgh: University of Edinburgh, 1977 [dostęp 2023-05-12] (ang.).
  6. ↑ a b c Marta Urzędowska, „Ojciec chrzestny” AI odchodzi z Google’a i przerywa milczenie: Chatboty? To przerażające [online], wyborcza.pl, 2 maja 2023 [dostęp 2023-05-16].
  7. ↑ John Mannes, Geoffrey Hinton was briefly a Google intern in 2012 because of bureaucracy, „TechCrunch+”, 14 września 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2020-03-17] (ang.).
  8. ↑ James Somers, Is AI Riding a One-Trick Pony?, MIT Technology Review, 29 września 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2018-05-20] (ang.).
  9. ↑ Chris Sorensen, How U of T’s ‘godfather’ of deep learning is reimagining AI, „UofT News”, University of Toronto, 2 listopada 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2019-04-06] (ang.).
  10. ↑ Chris Sorensen, ‘Godfather’ of deep learning is reimagining AI, „phys.org”, 3 listopada 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2019-04-13] (ang.).
  11. ↑ Adrian Lee, The meaning of AlphaGo, the AI program that beat a Go champ, „Maclean’s”, 18 marca 2016 [dostęp 2023-05-12] [zarchiwizowane z adresu 2020-03-06] (ang.).
  12. ↑ Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), „A learning algorithm for Boltzmann machines”, Cognitive science, Elsevier, 9 (1): 147–169.
  13. ↑ Geoffrey E. Hinton: Geoffrey E. Hinton’s Publications in Reverse Chronological Order. [dostęp 2010-09-15]. [zarchiwizowane z tego adresu (2020-4-18)].
  14. ↑ Stories by Geoffrey E. Hinton in Scientific American, „Scientific American” [dostęp 2019-10-17] [zarchiwizowane z adresu 2019-10-17].
  15. ↑ a b Badania postdoctoral [online] [dostęp 2023-05-14] (pol.).
  16. ↑ a b Poradnia językowa [online] [dostęp 2023-05-14] (pol.).
  17. ↑ David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams, Learning representations by back-propagating errors, „Nature”, 323, 9 października 1986, s. 533–536 [dostęp 2023-05-14] (ang.).
  18. ↑ Jürgen Schmidhuber, Deep learning in neural networks: An overview, „Neural Networks”, 61, styczeń 2015, s. 85–117 [dostęp 2023-05-12] (ang.).
  19. ↑ Jürgen Schmidhuber, Who Invented Backpropagation? [online], 2014 [dostęp 2023-05-14] (ang.).
  20. ↑ Geoffrey Hinton, indeks publikacji na [[Google Scholar]] [online] [dostęp 2023-05-14] (ang.).
  21. ↑ Geoffrey Hintoh, indeks publikacji na Scopus.
  22. ↑ Geoffrey Hinton, The Forward-Forward Algorithm: Some Preliminary Investigations, „arXiv”, Cornell University, 2022, DOI: 10.48550/arXiv.2212.13345, arXiv:2212.13345 [dostęp 2023-05-20] (ang.).
  23. ↑ Mathematics Genealogy Project (pol.).
  24. ↑ Richard S. Zemel, Praca doktorska „A minimum description length framework for unsupervised learning”, University of Toronto, Department of Computer Science, 1994 [dostęp 2023-05-14] (ang.).
  25. ↑ Mathematics Genealogy Project. Geoffrey Everest Hinton. [online] [dostęp 2023-05-14] (ang.).
  26. ↑ Radford M. Neal, Praca doktorska „Bayesian learning for neural networks”, University of Toronto, Department of Computer Science, 1995 [dostęp 2023-05-14] (ang.).
  27. ↑ Brendan J. Frey, Praca doktorska „Bayesian networks for pattern classification, data compression, and channel coding”, University of Toronto, 1997 (ang.).
  28. ↑ Yee Whye Teh, Praca doktorska: „Bethe free energy and contrastive divergence approximations for undirected graphical models”, University of Toronto, Department of Computer Science, 2003 [dostęp 2023-05-14] (ang.).
  29. ↑ Ruslan Salakhutdinov, Praca doktorska „Learning deep generative models”, University of Toronto, Department of Computer Science, 2009 [dostęp 2023-05-14] (ang.).
  30. ↑ Ilya Sutskever, Praca doktorska „Training Recurrent Neural Networks” [online], 2013 [dostęp 2023-05-14] (ang.).
  31. ↑ Edwin Bendyk, Inteligencja pracująca, czyli ilu ludzi ChatGPT i inne technologie pozbawią zatrudnienia [online], projektpulsar.pl, 26 kwietnia 2023 [dostęp 2023-05-16] (pol.).
  32. ↑ a b c d e f Geoffrey Hinton’s former postdocs [online] [dostęp 2023-05-14] (ang.).
  33. ↑ Geoffrey Hinton Biography, The Royal Society [dostęp 2023-05-17] (ang.).
  34. ↑ Current and Previous Recipients. The David E. Rumelhart Prize. [zarchiwizowane z tego adresu (2 March 2017)].
  35. ↑ Distinguished Edinburgh graduate receives ACM A.M. Turing Award, The Universiyu of Edinburgh [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-07-14] (ang.).
  36. ↑ Distinguished Edinburgh graduate receives ACM A.M. Turing Award, The University of Edinburgh, 2 kwietnia 2019 [dostęp 2023-05-19] [zarchiwizowane z adresu 2019-07-14] (ang.).
  37. ↑ Artificial intelligence scientist gets $1M prize, CBC Canadian Broadcasting Corporation, 14 lutego 2011 [dostęp 2023-05-19] (ang.).
  38. ↑ Geoffrey Hinton, keystone researcher in artificial intelligence, visits the Université de Sherbrooke, Sherbrooke, Kanada: The Université de Sherbrooke, 19 lutego 2014 [dostęp 2023-05-19] [zarchiwizowane z adresu 2021-02-21] (ang.).
  39. ↑ National Academy of Engineering Elects 80 Members and 22 Foreign Members, National Academy of Engineering, 8 lutego 2016 [dostęp 2023-05-19] [zarchiwizowane z adresu 2018-05-13] (ang.).
  40. ↑ 2016 IEEE MEDALS AND RECOGNITIONS RECIPIENTS AND CITATIONS, IEEE Institute of Electrical and Electronics Engineers, 14 listopada 2016 [dostęp 2023-05-19] (ang.).
  41. ↑ Thomas Haigh, Geoffrey Hinton laureat of A.M.Turing Award, A.M.Turing Award, 2018 [dostęp 2023-05-17] (ang.).
  42. ↑ Emily Chung, Canadian researchers who taught AI to learn like humans win $1M award, CBC Canadian Broadcasting Corporation, 27 marca 2019 [dostęp 2023-05-19] [zarchiwizowane z adresu 2020-02-26] (ang.).
  43. ↑ Ted Ranosa, Godfathers Of AI Win This Year’s Turing Award And $1 Million, Tech Times, 29 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-30] (ang.).
  44. ↑ Sam Shead, The 3 ‘Godfathers’ Of AI Have Won The Prestigious $1M Turing Prize, Forbes, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2020-04-14] (ang.).
  45. ↑ Tiernan Ray, Nvidia’s GTC will feature deep learning cabal of LeCun, Hinton, and Bengio, ZDNet, marzec 2021 [dostęp 2023-05-17] [zarchiwizowane z adresu 2021-03-19] (ang.).
  46. ↑ 50 Years at CMU The Inaugural Raj Reddy Artificial Intelligence Lecture, Carnegie Mellon University, 18 listopada 2020 (ang.).
  47. ↑ VECTOR INSTITUTE’S CHIEF SCIENTIFIC ADVISOR, DR. GEOFFREY HINTON, RECEIVES ACM A.M. TURING AWARD ALONGSIDE DR. YOSHUA BENGIO AND DR. YANN LECUN, Vector Institute, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  48. ↑ Cade Metz, Three Pioneers in Artificial Intelligence Win Turing Award, New York Times, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  49. ↑ Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award, ACM Assotiation for Comuting Machinery, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  50. ↑ Governor General Announces 103 New Appointments to the Order of Canada, The Governer General of Canada, 27 grudnia 2018 [dostęp 2023-05-19] (ang.).
  51. ↑ Dickson Prize in Science (2021), Carnegie Mellon University, 2021 [dostęp 2023-05-19] (ang.).
  52. ↑ Geoffrey Hinton, Yann LeCun, Yoshua Bengio and Demis Hassabis – 2022 Princess of Asturias Award for Technical & Scientific Research, La Fundación Princesa de Asturias, 2022 [dostęp 2023-05-19] (ang.).
Źródło: „https://pl.wikipedia.org/w/index.php?title=Geoffrey_Hinton&oldid=73351087”