Fra En introduksjon til stokastisk modellering av Pinsky og Karlin (2011):

En begrensende distribusjon, når den eksisterer, er alltid en stasjonær distribusjon, men omvendt er ikke sant. Det kan eksistere en stasjonær distribusjon, men ingen begrensende distribusjon. For eksempel er det ingen begrensningsfordeling for den periodiske Markov-kjeden hvis overgangssannsynlighetsmatrise er $$ \ mathbf {P} = \ left \ | \ begin {matrix} 0 & 1 \\ 1 & 0 \ end {matrix} \ right \ | $$ men $ \ pi = \ left (\ frac {1} {2}, \ frac {1} {2} \ right) $ er en stasjonær distribusjon, siden $$ \ left (\ frac {1} { 2}, \ frac {1} {2} \ right) \ left \ | \ begin {matrix} 0 & 1 \\ 1 & 0 \ end {matrix} \ right \ | = \ left (\ frac {1} { 2}, \ frac {1} {2} \ right) $$ (s. 205).

I en tidligere seksjon hadde de allerede definert en " begrensende sannsynlighetsfordeling "$ \ pi $ av

$$ \ lim_ {n \ rightarrow \ infty} P_ {ij} ^ {(n)} = \ pi_j ~ \ mathrm {for} ~ j = 0,1, \ prikker, N $$

og tilsvarende

$$ \ lim_ {n \ rightarrow \ infty} \ operatorname { Pr} \ {X_n = j | X_0 = i \} = \ pi_j>0 ~ \ mathrm {for} ~ j = 0,1, \ prikker, N $$ (s. 165).

Eksemplet ovenfor svinger deterministisk, og har derfor ikke en grense på samme måte som sekvensen $ \ {1,0,1,0,1, \ dots \} $ klarer ikke å ha en grense.

De sier at en vanlig Markov-kjede (der alle n-trinns overgangssannsynligheter er positive) alltid har en begrensende fordeling, og beviser at det må være det unike ikke-negativ løsning til

$$ \ pi_j = \ sum_ {k = 0} ^ N \ pi_kP_ {kj}, ~ ~ j = 0,1, \ dots, N, \\\ sum_ {k = 0} ^ N \ pi_k = 1 $$ (s. 168)

Så skriver de på samme side som eksemplet

Ethvert sett $ (\ pi_i) _ {i = 0} ^ {\ infty} $ tilfredsstillende (4.27) kalles en stasjonær sannsynlighetsfordeling av Markov-kjeden. Begrepet "stasjonær" stammer fra eiendommen at en Markov-kjede startet i henhold til en stasjonær distribusjon vil følge denne fordelingen til alle tidspunkter. Formelt sett, hvis $ \ operatorname {Pr} \ {X_0 = i \} = \ pi_i $, så $ \ operatorname {Pr} \ {X_n = i \} = \ pi_i $ for alle $ n = 1,2, \ prikker $.

hvor (4.27) er settet med ligninger

$$ \ pi_i \ geq 0, \ sum_ {i = 0} ^ {\ infty} \ pi_i = 1, ~ \ mathrm {and} ~ \ pi_j = \ sum_ {i = 0} ^ {\ infty} \ pi_iP_ {ij}. $$

som er nøyaktig samme stasjonærhetsbetingelse som ovenfor, bortsett fra nå med et uendelig antall stater.

Med denne definisjonen av stasjonaritet kan uttalelsen på side 168 tilbakevirkes som:

1. Den begrensende fordelingen av en vanlig Markov-kjede er en stasjonær distribusjon.
2. Hvis den begrensende fordelingen av en Markov-kjede er en stasjonær fordeling, er den stasjonære fordelingen unik.

En stasjonær distribusjon er en slik fordeling $ \ pi $ at hvis fordelingen over stater i trinn $ k $ er $ \ pi $, så er også fordelingen over tilstander i trinn $ k + 1 $ $ \ pi $. Det vil si \ begin {ligning} \ pi = \ pi P. \ slutt {ligning} En begrensende fordeling er en slik fordeling $ \ pi $ at uansett hva den opprinnelige fordelingen er, konvergerer fordelingen over tilstander til $ \ pi $ når antall trinn går til uendelig: \ begin {ligning} \ lim_ {k \ rightarrow \ infty} \ pi ^ {(0)} P ^ k = \ pi, \ end {ligning} uavhengig av $ \ pi ^ { (0)} $. La oss for eksempel se på en Markov-kjede hvis to stater er sidene av en mynt, $ \ {heads, haler \} $. Hvert trinn består i å snu mynten på hodet (med sannsynlighet 1). Merk at når vi beregner tilstandsfordelingene, er de ikke betinget av tidligere trinn, det vil si at fyren som beregner sannsynlighetene ikke ser mynten. Overgangsmatrisen er altså \ begin {ligning} P = \ begynn {pmatrix} 0 & 1 \\ 1 & 0 \ end {pmatrix}. \ End {ligning} Hvis vi først initialiserer mynten ved å snu den tilfeldig ($ \ pi ^ {(0)} = \ begin {pmatrix} 0.5 & 0.5 \ end {pmatrix} $), så følger også alle påfølgende tidstrinn denne fordelingen. (Hvis du snur en rettferdig mynt, og deretter snur den på hodet, er sannsynligheten for hoder fortsatt $ 0,5 $). Dermed er $ \ begin {pmatrix} 0.5 & 0.5 \ end {pmatrix} $ en stasjonær distribusjon for denne Markov-kjeden.

Denne kjeden har imidlertid ikke en begrensende fordeling: antar at vi initialiserer mynten slik at den er hoder med sannsynlighet $ 2/3 $. Da alle påfølgende tilstander blir bestemt av den opprinnelige tilstanden, etter et jevnt antall trinn, er staten hoder med sannsynlighet $ 2/3 $ og etter et oddetall trinn er staten hoder med sannsynlighet $ 1/3 $. Dette holder uansett hvor mange skritt som tas, og fordelingen over stater har dermed ingen grenser.

Når du legger notasjon til side, betyr ordet "stasjonær" "når du kommer dit, vil du bli der"; mens ordet "begrensende" antyder "vil du til slutt komme dit hvis du går langt nok". Tenkte bare dette kan være nyttig.