Stan (łańcuchy Markowa)

Stan – pojedynczy element przestrzeni stanów (przestrzeni fazowej), czyli jedno z możliwych położeń łańcucha Markowa. Prawdopodobieństwa przejścia między stanami dane są w macierzy prawdopodobieństw przejścia.

Cechy stanów

• Stan $j$ nazywamy osiągalnym ze stanu $i$ wtedy i tylko wtedy, gdy istnieje niezerowe prawdopodobieństwo przejścia ze stanu $i$ do stanu $j$ w dowolnej liczbie kroków.
• Stany $i$ oraz $j$ komunikują się, gdy $i$ jest osiągalny z $j$ oraz $j$ jest osiągalny z $i.$
• Stan $i$ nazywamy pochłaniającym wówczas, gdy $p_{ii}=1.$
• Stan $i$ nazywamy odbijającym wówczas, gdy $p_{ii}=0.$
• Stan $i$ jest nieistotny (chwilowy) wówczas, gdy istnieje wersja opuszczenia stanu, po której już nie można do niego wrócić.
• Stan $i$ jest istotny wówczas, gdy dla każdej wersji opuszczenia stanu jest możliwy powrót do niego.

Bibliografia

• Maria Podgórska i in.: Łańcuchy Markowa w teorii i zastosowaniach. Warszawa: Szkoła Główna Handlowa Oficyna Wydawnicza, 2002.