Łańcuch Markowa: Różnice pomiędzy wersjami

Dodane 6 bajtów ,  7 lat temu
m
m (→‎Linki zewnętrzne: Robot zamienia kategorię)
=== Macierz przejść ===
==== Definicja ====
Jeśli łańcuch Markowa jest jednorodny, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako [[macierz]], zwaną macierzą prawdopodobieństw przejścia. Jest to [[macierz stochastyczna]], oznaczamy zwykle literą '''P''', gdzie wyraz (''i'', ''j'') wyraża się wzorem:
 
: <math>p_{i,j} = P(X_{n+1}=j\mid X_n=i).</math>
:<math>p_{i,j}^{(n)} = P(X_{m+n}=j| X_m = i)</math>.
 
Dla prawdopodobieństw przejść spełnione są następujacenastępujące równanie, nazywane ''równaniami Chapmana-Kołmogorowa'':
:<math>p_{i,j}^{(n + m)} = \sum_{k \in E} p_{i,k}^{(n)}p_{k,j}^{(m)}</math>.
Intuicyjne jest jasne, że aby dojść do stanu ''j'' można po drodze przejść przez dowolny inny stan skomunikowany z ''j'' i ''i''. Stosując zapis macierzowy, równania Chapmana-Kołmogorowa można zapisać w postaci:
 
=== Klasyfikacja stanów ===
Mówi się, że:
* stan ''i'' jest osiągalny ze stanu ''j'', jeśli ''p''<sub>''j,i''</sub> >0;
* stany ''i'' i ''j'' są skomunikowane, jeśli są wzajemnie osiągalne. Oznaczenie: ''i'' &nbsp;↔&nbsp; ''j''.
* Jeśli ''f''<sub>''i''</sub> < 1 to stan ''i'' nazywany jest ''chwilowym''.
 
Każdy stan jest albo chwilowy albo rekurencyjny. Stan ''i'' jest rekurencyjny wtedy i tylko wtedy, gdy:
:<math>\sum_{n=1}^{\infty} p_{i,i}^{(n)} = \infty. </math>
 
=== Rozkład stacjonarny ===
Rozkład prawdopodobieństw na przestrzeni stanów '''S''' nazywany jest ''[[stacjonarność|stacjonarnym]]'' wtedy i tylko wtedy, gdy spełniony jest warunek:
 
: <math>\pi_{j} = \sum_{i \in S} \pi_i p_{ij},</math>
tj.
: <math> \pi\mathbf{P} = \pi, </math>
gdzie π jest takim wektorem wierszowym, że:
: <math>\sum_i \pi_i = 1 \quad \forall \pi_i \ge 0 </math>.