== Historia i charakterystyka teorii informacji ==
Za ojca teorii informacji uważa się [[Claude E. Shannon|Claude'a E. Shannona]], który prawdopodobnie po raz pierwszy użył tego terminu w [[1945]] roku w swojej pracy zatytułowanej ''"A Mathematical Theory of Cryptography"''. Natomiast w [[1948]] roku w kolejnej pracy pt. ''"A Mathematical Theory of Communication"'' przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce [[Marian Mazur (naukowiec)|Marian Mazur]] stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w [[1970]] roku książcepracy ''Jakościowa teoria informacji''. Wprowadził w niej rozróżnienie między ''informacjami opisującymi'' a ''informacjami identyfikującymi'' i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.
Ważne [[pojęcie|pojęcia]] teorii informacji:
* [[bit]]: najmniejsza jednostka [[informacja|informacji]] potrzebna do [[Kod|zakodowania]], które z dwóch możliwych zdarzeń zaszło.
