Łańcuch Markowa: Różnice pomiędzy wersjami
| [wersja przejrzana] | [wersja przejrzana] |
Usunięta treść Dodana treść
m Wycofano edycje użytkownika 37.47.225.25 (dyskusja). Autor przywróconej wersji to Daroooo. Znacznik: Wycofanie zmian |
m Bot poprawia nagłówki sekcji; zmiany kosmetyczne |
||
Linia 1:
[[Plik:Markov process-example.svg|
'''Proces Markowa''' – [[Ciąg (matematyka)|ciąg]] zdarzeń, w którym [[prawdopodobieństwo]] każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie [[proces stochastyczny|procesy stochastyczne]], które spełniają [[własność Markowa]].
Linia 26:
==== Równania Chapmana-Kołmogorowa ====
Prawdopodobieństwem przejścia ze stanu ''i'' do stanu ''j'' w ''n'' krokach nazywa się prawdopodobieństwo warunkowe
:<math>p_{i,j}^{(n)} = P(X_{m+n}=j| X_m = i)</math>.
Dla prawdopodobieństw przejść spełnione są następujące równanie, nazywane ''równaniami Chapmana-Kołmogorowa'':
:<math>p_{i,j}^{(n + m)} = \sum_{k \in E} p_{i,k}^{(n)}p_{k,j}^{(m)}</math>.
Intuicyjne jest jasne, że aby dojść do stanu ''j'' można po drodze przejść przez dowolny inny stan skomunikowany z ''j'' i ''i''. Stosując zapis macierzowy, równania Chapmana-Kołmogorowa można zapisać w postaci:
:<math> \mathbf{P}^{m+n} = \mathbf{P}^{m}\mathbf{P}^{n} </math>,
gdzie przez '''P'''<sup>''n''</sup> jest macierzą przejść w ''n'' krokach.
=== Klasyfikacja stanów
Mówi się, że:
* stan ''i'' jest osiągalny ze stanu ''j'', jeśli ''p''<sub>''j,i''</sub> >0;
Linia 42:
Można wykazać, że relacja skomunikowania jest [[relacja równoważności|relacją równoważności]]. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.
==== Stany chwilowe i rekurencyjne ====
Niech ''f''<sub>''i''</sub> oznacza prawdopodobieństwo tego, że startując ze stanu ''i'' łańcuch kiedykolwiek do niego powróci.
* Jeśli ''f''<sub>''i''</sub> = 1 to stan ''i'' nazywany jest ''rekurencyjnym''.
*
Każdy stan jest albo chwilowy albo rekurencyjny. Stan ''i'' jest rekurencyjny wtedy i tylko wtedy, gdy:
:<math>\sum_{n=1}^{\infty} p_{i,i}^{(n)} = \infty. </math>
Linia 70:
* Anzelm Iwanik, Jolanta Katarzyna Misiewicz: ''Wykłady z procesów stochastycznych z zadaniami. Cz. 1, Procesy Markowa''. Zielona Góra: Oficyna Wydawnicza Uniwersytetu Zielonogórskiego, 2009.
== Linki zewnętrzne ==
* [http://wazniak.mimuw.edu.pl/index.php?title=Rachunek_prawdopodobie%C5%84stwa_i_statystyka/Wyk%C5%82ad_10:_%C5%81a%C5%84cuchy_Markowa O łańcuchach Markowa na stronach wydziału MIM Uniwersytetu Warszawskiego]
[[Kategoria:Ekonomia matematyczna]]
[[Kategoria:Transmisja danych]]
| |||