Łańcuch Markowa: Różnice pomiędzy wersjami

Usunięte 2 bajty ,  3 lata temu
m
Bot poprawia nagłówki sekcji; zmiany kosmetyczne
m (Wycofano edycje użytkownika 37.47.225.25 (dyskusja). Autor przywróconej wersji to Daroooo.)
Znacznik: Wycofanie zmian
m (Bot poprawia nagłówki sekcji; zmiany kosmetyczne)
[[Plik:Markov process-example.svg|thumbmały|rightprawo|300px|Przykład procesu Markowa]]
'''Proces Markowa''' – [[Ciąg (matematyka)|ciąg]] zdarzeń, w którym [[prawdopodobieństwo]] każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie [[proces stochastyczny|procesy stochastyczne]], które spełniają [[własność Markowa]].
 
 
==== Równania Chapmana-Kołmogorowa ====
Prawdopodobieństwem przejścia ze stanu ''i'' do stanu ''j'' w ''n'' krokach nazywa się prawdopodobieństwo warunkowe
:<math>p_{i,j}^{(n)} = P(X_{m+n}=j| X_m = i)</math>.
 
Dla prawdopodobieństw przejść spełnione są następujące równanie, nazywane ''równaniami Chapmana-Kołmogorowa'':
:<math>p_{i,j}^{(n + m)} = \sum_{k \in E} p_{i,k}^{(n)}p_{k,j}^{(m)}</math>.
Intuicyjne jest jasne, że aby dojść do stanu ''j'' można po drodze przejść przez dowolny inny stan skomunikowany z ''j'' i ''i''. Stosując zapis macierzowy, równania Chapmana-Kołmogorowa można zapisać w postaci:
:<math> \mathbf{P}^{m+n} = \mathbf{P}^{m}\mathbf{P}^{n} </math>,
gdzie przez '''P'''<sup>''n''</sup> jest macierzą przejść w ''n'' krokach.
 
=== Klasyfikacja stanów ===
Mówi się, że:
* stan ''i'' jest osiągalny ze stanu ''j'', jeśli ''p''<sub>''j,i''</sub> >0;
Można wykazać, że relacja skomunikowania jest [[relacja równoważności|relacją równoważności]]. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.
 
==== Stany chwilowe i rekurencyjne ====
Niech ''f''<sub>''i''</sub> oznacza prawdopodobieństwo tego, że startując ze stanu ''i'' łańcuch kiedykolwiek do niego powróci.
* Jeśli ''f''<sub>''i''</sub> = 1 to stan ''i'' nazywany jest ''rekurencyjnym''.
* Jeśli ''f''<sub>''i''</sub> < 1 to stan ''i'' nazywany jest ''chwilowym''.
 
Każdy stan jest albo chwilowy albo rekurencyjny. Stan ''i'' jest rekurencyjny wtedy i tylko wtedy, gdy:
:<math>\sum_{n=1}^{\infty} p_{i,i}^{(n)} = \infty. </math>
 
* Anzelm Iwanik, Jolanta Katarzyna Misiewicz: ''Wykłady z procesów stochastycznych z zadaniami. Cz. 1, Procesy Markowa''. Zielona Góra: Oficyna Wydawnicza Uniwersytetu Zielonogórskiego, 2009.
 
== Linki zewnętrzne ==
* [http://wazniak.mimuw.edu.pl/index.php?title=Rachunek_prawdopodobie%C5%84stwa_i_statystyka/Wyk%C5%82ad_10:_%C5%81a%C5%84cuchy_Markowa O łańcuchach Markowa na stronach wydziału MIM Uniwersytetu Warszawskiego]
 
[[Kategoria:Ekonomia matematyczna]]
[[Kategoria:Transmisja danych]]
2 997 298

edycji