Markov Chains Theorems

○Chapman-Kolmogorov Equation

 ▷N-step transition probabilities를 구하는 방법.

 ▷P{X_n+k = j | X_k = i} = P_i,j의 transition Matrix의 n승에서 i행 j열의 요소

 ▷Transition matrix의 곱을 이용해 구함.

 

 ▶증명 (여기서 P_i,j n+m

  ▷transition matrix의 행렬곱과 같다. (P(n) = matrix of n-step tansition probabilities)

   ▷P^n+m = Pⁿ P^m

   ▷P⁽²⁾ = P × P

 

 ◎4일뒤 비가 올 확률

   ▷traisiion matrix (P)

   ▷P²

   ▷P₀,0⁴ = 0.61*0.61 + 0.39*0.52 = 0.5749

 

○Long-run Proportions

 ▷만약 Markov chain이 irreducible하고 recurrent하다면, 모든 초기 상태에 대해 πj를 정의 가능하다.

  ▷πj : state j에서의 long-run proportion of time. = 1/mj ( mj = E[Nj | X0 = j] )

  ▷πi P_i,jⁿ : i에 대한 long-run proportion과 n회의 transition이후 j State.

  ▷πj ≥ πi P_i,jⁿ ＞ 0 (포함관계?) - Positive Rucurrent한 경우

 

 ▷만약 Markov chain이 irreducible하고 positive recurrent하다면, unique solution을 가진다.

  ▷πj = Σi πi Pi,j  (j ≥ 1)

  ▷Σj πj = 1

 

 ◎Unique solution of Long-run Proportions

  ▷연립 방정식을 통해 구할 수 있다.

 

○Limiting Probabilities

 ▶period of state i ( d(i) )

  ▷i에서 i로 돌아오는데 걸리는 최소 시간

  ▷aperiodic: d(i) = 1

 

 ▷ergodic: positive recurrent + aperiodic

  ▷irreducible ergodic Markov Chain에 대해서

  ▷α_j = lim_(n->∞) P(X_n = j)가 존재한다. (어느 한 State로 수렴한다.)

   ▷α_j = Σ_i α_i P_i,j ≥ 1

   ▷Σ_j α_j = 1