Hierarchiczna pamięć
Hierarchiczna pamięć (HTM) – model uczenia maszyn opracowany przez Jeff Hawkinsa i Dileep George’a z firmy Numenta, Inc., który odzwierciedla strukturalne i algorytmiczne właściwości kory nowej (neocortex). Model ten używa podejścia podobnego do sieci bayesowskich. Model HTM jest oparty na teorii przewidywania opartego na pamięci – teorii działania mózgu opisanej przez Jeff Hawkinsa w jego książce Istota Inteligencji. Sieci HTM są uważane za bionaśladowcze modele wnioskowania o przyczynach.
Model ten jest podobny do pracy Tomaso Poggio i Davida Mumforda.
Opis sieci HTM edytuj
Ta część jest podsumowaniem dokumentacji Numenty[1].
Sieci neuronowe edytuj
Podczas gdy sieci neuronowe ignorują strukturę (hierarchie) i skupiają się na emulacji neuronów, sieci HTM skupiają się na budowie hierarchicznej a ignorują emulację neuronów.
Implementacja edytuj
Idea HTM została użyta w naukowym wydaniu oprogramowania nazwanego „Numenta Platform for Intelligent Computing” (NuPIC). Aktualnie to oprogramowanie jest dostępne do ściągnięcia za darmo.
Ta implementacja jest napisana w C++ i Pythonie.
Podobne modele edytuj
Podobnie jak w sieciach bayesowskich, HTM (Hierarchical Temporal Memory) składa się z kolekcji węzłów ułożonych w hierarchiczny kształt drzewa. Każdy węzeł w hierarchii odkrywa szereg przyczyn w wzorcach wejściowych i sekwencjach czasowych, które otrzymuje. Algorytm rewizji przekonań bayesowskich jest używany do propagacji przekonań w przód i wstecz od węzłów potomnych do rodzicielskich i odwrotnie. Jednak analogia do sieci bayesowskich jest ograniczona, ponieważ HTM może być samotrenowane (tak, że każdy węzeł ma jednoznaczną relację rodziną), radzi sobie z danymi czasowymi i zapewnia mechanizmy dla ukrytej uwagi.
Teoria hierarchicznej obliczeniowej kory oparta na propagacji przekonań bayesowskich została wcześniej zaproponowana przez Tai Sing Lee i Davida Mumforda.[2] Podczas gdy HTM jest głównie zgodne z tymi pomysłami, dodaje szczegóły dotyczące obsługi niezmienności reprezentacji w korze wzrokowej.[3]
Przypisy edytuj
- ↑ Education – HTM Resources – numenta.com. numenta.com. [zarchiwizowane z tego adresu (2009-03-26)]..
- ↑ Tai Sing Lee, David Mumford, Hierarchical Bayesian inference in the visual cortex, „Journal of the Optical Society of America. A, Optics, Image Science, and Vision”, 20 (7), 2003, s. 1434–1448, DOI: 10.1364/josaa.20.001434, ISSN 1084-7529, PMID: 12868647 [dostęp 2024-02-05].
- ↑ Hierarchical Bayesian inference in the visual cortex | Mind Matter [online], web.archive.org, 1 sierpnia 2019 [dostęp 2024-02-05] [zarchiwizowane z adresu 2019-08-01].
Bibliografia edytuj
- „Hierarchical Temporal Memory – Concepts, Theory, and Terminology” by Jeff Hawkins and Dileep George, Numenta Inc., 2006-05-17
- On Intelligence; Jeff Hawkins, Sandra Blakeslee; Henry Holt, 2004, ISBN 0-312-71234-0.
- Czym HTM różni się od zwykłych Sieci Neuronowych 2007-10-17
Linki zewnętrzne edytuj
Oficjalne edytuj
- Numenta, Inc.
- OnIntelligence.org Forum, forum internetowe, dyskusje na powiązane tematy.
- Hierarchical Temporal Memory (prezentacja w Microsoft PowerPoint)
Inne edytuj
- The Gartner Fellows: wywiad z Jeffem Hawkinsem przez Tom Austin, Gartner, Marzec 2, 2006
- Emerging Tech: Jeff Hawkins reinvents artificial intelligence by Debra D’Agostino and Edward H. Baker, CIO Insight, May 1, 2006
- „Putting your brain on a microchip” by Stefanie Olsen, CNet News.com, May 12, 2006
- „The Thinking Machine” by Evan Ratliff, Wired, March 2007
- Think like a human by Jeff Hawkins, IEEE Spectrum, April 2007
- Neocortex – Memory-Prediction Framework – Open Source Implementation with GNU General Public License
- Using Numenta’s hierarchical temporal memory to recognize CAPTCHAs. pembrokeballet.com. [zarchiwizowane z tego adresu (2012-09-15)]. by Yensy James Hall and Ryan E. Poplin, December 12, 2007
- Another type of Temporal Memory. pages.sbcglobal.net. [zarchiwizowane z tego adresu (2009-04-29)]. by Louis Savain, November 13, 2002