Łańcuch Markowa: Różnice pomiędzy wersjami

Usunięte 205 bajtów ,  9 lat temu
drobne redakcyjne
(drobne redakcyjne)
Mówi się, że
* stan ''i'' jest osiągalny ze stanu ''j'', jeśli ''p''<sub>''j,i''</sub> >0;
* stany "''i"'' i "''j"'' są skomunikowane, jeśli są wzajemnie osiągalne. Oznaczenie: ''i'' &nbsp;↔&nbsp; ''j''.
 
Można wykazać, że relacja skomunikowania jest [[relacja równoważności|relacją równoważności]]. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.
 
====Stany chwilowe i rekurencyjne====
Definicja. Oznaczmy przezNiech ''f''<mathsub>f_{''i}''</mathsub> oznacza prawdopodobieństwo tego, że startując ze stanu "''i"'' łańcuch kiedykolwiek do niego powróci.
* Jeśli ''f''<sub>''i''</sub> = 1 to stan ''i'' nazywany jest ''rekurencyjnym''.
* Jeśli ''f''<sub>''i''</sub> < 1 to stan ''i'' nazywany jest ''chwilowym''.
 
Każdy stan jest albo chwilowy albo rekurencyjny. Stan ''i'' jest chwilowy wtedy i tylko wtedy, gdy
Definicja. Jeśli <math>f_{i} = 1</math> to stan "i" nazywamy rekurencyjnym.
Twierdzenie. Stan "i" jest chwilowy wtw. gdy :<math>\sum_{n=1}^{\infty} p_{i,i}^{(n)} = \infty. </math>.
 
Definicja. Jeśli <math>f_{i} < 1</math> to stan "i" nazywamy chwilowym.
 
Wynika stąd, że każdy stan jest albo chwilowy albo rekurencyjny.
 
Poniższe twierdzenie jest prostym narzędziem do badania chwilowości lub rekurencyjności stanu łańcucha Markowa.
 
Twierdzenie. Stan "i" jest chwilowy wtw. gdy <math>\sum_{n=1}^{\infty} p_{i,i}^{(n)} = \infty </math>.
 
=== Rozkład stacjonarny ===
Rozkład prawdopodobieństw na przestrzeni stanów '''S''' nazywamynazywany jest ''[[stacjonarność|stacjonarnym]]'' wtedy i tylko wtedy, gdy spełniony jest warunek
 
: <math>\pi_{j} = \sum_{i \in S} \pi_i p_{ij},</math>
tj.
czyli
 
: <math> \pi\mathbf{P} = \pi, </math>
gdzie <math>\pi</math>π jest takim wektorem wierszowym takim, że
: <math>\sum_i \pi_i = 1 \quad \forall \pi_i \ge 0 </math>.
 
 
== Zobacz też ==
* [[Andriej Kołmogorow]]
* [[Andriej Markow (starszy)|Andriej Markow]]
* [[Własność Markowa]]
 
8957

edycji