Chapter 5

Supporting notes

Scott Alexander

Frame 8

To see that
(Subscript[X, (Subscript[t, 3])])-𝔼[(Subscript[X, (Subscript[t, 3])])|((((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 1])])))^T)]    and    ((((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 1])])))^T)
are independent identify
η = (Subscript[X, (Subscript[t, 3])])-𝔼[(Subscript[X, (Subscript[t, 3])])|((((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 1])])))^T)] 
and
ξ = ((((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 1])])))^T)
in TNC Part (2).

Frame 9

Note that
Q((Subscript[t, 1]),(Subscript[t, 3])) = cov((Subscript[X, (Subscript[t, 1])]),(Subscript[X, (Subscript[t, 3])])) = cov((Subscript[X, (Subscript[t, 1])]),𝔼[(Subscript[X, (Subscript[t, 3])])|(Subscript[X, (Subscript[t, 2])])])
  = cov((Subscript[X, (Subscript[t, 1])]),𝔼[(Subscript[X, (Subscript[t, 3])])]+((cov((Subscript[X, (Subscript[t, 3])]),(Subscript[X, (Subscript[t, 2])])))/(cov((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 2])]))))((Subscript[X, (Subscript[t, 2])])-𝔼[(Subscript[X, (Subscript[t, 2])])]))    (TNC Part 3)
  = cov((Subscript[X, (Subscript[t, 1])]),((cov((Subscript[X, (Subscript[t, 3])]),(Subscript[X, (Subscript[t, 2])])))/(cov((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 2])]))))(Subscript[X, (Subscript[t, 2])]))
  = cov((Subscript[X, (Subscript[t, 1])]),(Subscript[X, (Subscript[t, 2])]))((cov((Subscript[X, (Subscript[t, 3])]),(Subscript[X, (Subscript[t, 2])])))/(cov((Subscript[X, (Subscript[t, 2])]),(Subscript[X, (Subscript[t, 2])]))))
  = Q((Subscript[t, 1]),(Subscript[t, 2]))((Q((Subscript[t, 3]),(Subscript[t, 2])))/(Q((Subscript[t, 2]),(Subscript[t, 2]))))
or
Q((Subscript[t, 1]),(Subscript[t, 3]))Q((Subscript[t, 2]),(Subscript[t, 2])) = Q((Subscript[t, 1]),(Subscript[t, 2]))Q((Subscript[t, 2]),(Subscript[t, 3])).

Frame 10

Note that
cov((Subscript[X, t+s])-𝔼[(Subscript[X, t+s])|(Subscript[X, t])],(Subscript[X, (Subscript[t, 1])])) = cov((Subscript[X, t+s]),(Subscript[X, (Subscript[t, 1])]))-cov(𝔼[(Subscript[X, t+s])|(Subscript[X, t])],(Subscript[X, (Subscript[t, 1])]))
  = cov((Subscript[X, t+s]),(Subscript[X, (Subscript[t, 1])]))-cov(𝔼[(Subscript[X, t+s])]+((cov((Subscript[X, t+s]),(Subscript[X, t])))/(cov((Subscript[X, t]),(Subscript[X, t]))))((Subscript[X, t])-𝔼[(Subscript[X, t])]),(Subscript[X, (Subscript[t, 1])]))    (TNC Part 3)
  = cov((Subscript[X, t+s]),(Subscript[X, (Subscript[t, 1])]))-cov(((cov((Subscript[X, t+s]),(Subscript[X, t])))/(cov((Subscript[X, t]),(Subscript[X, t]))))(Subscript[X, t]),(Subscript[X, (Subscript[t, 1])]))
  = cov((Subscript[X, t+s]),(Subscript[X, (Subscript[t, 1])]))-((cov((Subscript[X, t+s]),(Subscript[X, t])))/(cov((Subscript[X, t]),(Subscript[X, t]))))cov((Subscript[X, t]),(Subscript[X, (Subscript[t, 1])]))
  = Q(t+s,(Subscript[t, 1]))-((Q(t+s,t))/(Q(t,t)))Q(t,(Subscript[t, 1])).

Setting    (Subscript[u, 1])=(Subscript[t, 1])<(Subscript[u, 2])=t<(Subscript[u, 3])=t+s    in the last gives
cov((Subscript[X, t+s])-𝔼[(Subscript[X, t+s])|(Subscript[X, t])],(Subscript[X, (Subscript[t, 1])])) = Q((Subscript[t, 1]),t+s)-((Q(t,t+s))/(Q(t,t)))Q((Subscript[t, 1]),t)
  = Q((Subscript[u, 1]),(Subscript[u, 3]))-((Q((Subscript[u, 2]),(Subscript[u, 3])))/(Q((Subscript[u, 2]),(Subscript[u, 2]))))Q((Subscript[u, 1]),(Subscript[u, 2]))
  = 0
by (1) of Theorem 1.

Frame 12

Table[Plot[(E^(-α Abs[u])),{u,-2,2}],{α,{1,2,3}}]

Frame 17

Consider the case n=4.

Then
f(((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))) = f((Subscript[x, 1]),(Subscript[t, 1]))*f(((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|(Subscript[x, 1]),(Subscript[t, 1]))

  = f((Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 2]),(Subscript[t, 2])|(Subscript[x, 1]),(Subscript[t, 1]))*f(((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])))
        = f((Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 2]),(Subscript[t, 2])|(Subscript[x, 1]),(Subscript[t, 1]))*f(((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|(Subscript[x, 2]),(Subscript[t, 2]))    (Markov property)

  = f((Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 2]),(Subscript[t, 2])|(Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 3]),(Subscript[t, 3])|(Subscript[x, 2]),(Subscript[t, 2]))*f((Subscript[x, 4]),(Subscript[t, 4])|((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])))
        = f((Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 2]),(Subscript[t, 2])|(Subscript[x, 1]),(Subscript[t, 1]))*f((Subscript[x, 3]),(Subscript[t, 3])|(Subscript[x, 2]),(Subscript[t, 2]))*f((Subscript[x, 4]),(Subscript[t, 4])|(Subscript[x, 3]),(Subscript[t, 3]))    (Markov property)

  = f((Subscript[x, 1]),(Subscript[t, 1]))(∏_(i=2)^4)f((Subscript[x, i]),(Subscript[t, i])|(Subscript[x, i-1]),(Subscript[t, i-1])).

Note we have used
((f(((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|(Subscript[x, 1]),(Subscript[t, 1])))/(f((Subscript[x, 2]),(Subscript[t, 2])|(Subscript[x, 1]),(Subscript[t, 1])))) = ((f(((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4])))/f((Subscript[x, 1]),(Subscript[t, 1])))/(f(((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])))/f((Subscript[x, 1]),(Subscript[t, 1]))))
  = ((f(((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))))/(f(((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])))))
  = f(((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|((Subscript[x, 1]),(Subscript[t, 1])),((Subscript[x, 2]),(Subscript[t, 2])))
and similarly
((f(((Subscript[x, 3]),(Subscript[t, 3])),((Subscript[x, 4]),(Subscript[t, 4]))|(Subscript[x, 2]),(Subscript[t, 2])))/(f((Subscript[x, 3]),(Subscript[t, 3])|(Subscript[x, 2]),(Subscript[t, 2])))) = f((Subscript[x, 4]),(Subscript[t, 4])|((Subscript[x, 2]),(Subscript[t, 2])),((Subscript[x, 3]),(Subscript[t, 3]))).

Frame 19

Consider the case n=4.

Then
P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])) = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))

  = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))
        = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))    (Markov property)

  = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))*P((Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]))
        = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))*P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))*P((Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]))    (Markov property)

  = P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))(∏_(i=2)^4)P((Subscript[X, (Subscript[t, i])])=(Subscript[x, i])|(Subscript[X, (Subscript[t, i-1])])=(Subscript[x, i-1])).

Note we have used
((P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1])))/(P((Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1])))) = ((P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4]))/P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1])))/(P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))/P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]))))
  = ((P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])))/(P((Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))))
  = P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 1])])=(Subscript[x, 1]),(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]))
and similarly
((P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3]),(Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])))/(P((Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2])))) = P((Subscript[X, (Subscript[t, 4])])=(Subscript[x, 4])|(Subscript[X, (Subscript[t, 2])])=(Subscript[x, 2]),(Subscript[X, (Subscript[t, 3])])=(Subscript[x, 3])).

Frame 23

For (6) note that
P(s)P(u) = (({{(Subscript[p, 11])(s), (Subscript[p, 12])(s), ⋯, (Subscript[p, 1n])(s)}, {(Subscript[p, 21])(s), (Subscript[p, 22])(s), ⋯, (Subscript[p, 2n])(s)}, {⋮, ⋮, ⋱, ⋮}, {(Subscript[p, n1])(s), (Subscript[p, n2])(s), ⋯, (Subscript[p, nn])(s)}}))(({{(Subscript[p, 11])(u), (Subscript[p, 12])(u), ⋯, (Subscript[p, 1n])(u)}, {(Subscript[p, 21])(u), (Subscript[p, 22])(u), ⋯, (Subscript[p, 2n])(u)}, {⋮, ⋮, ⋱, ⋮}, {(Subscript[p, n1])(u), (Subscript[p, n2])(u), ⋯, (Subscript[p, nn])(u)}}))
  = (({{(∑_(k=1)^n)(Subscript[p, 1k])(s)(Subscript[p, k1])(u), (∑_(k=1)^n)(Subscript[p, 1k])(s)(Subscript[p, k2])(u), ⋯, (∑_(k=1)^n)(Subscript[p, 1k])(s)(Subscript[p, kn])(u)}, {(∑_(k=1)^n)(Subscript[p, 2k])(s)(Subscript[p, k1])(u), (∑_(k=1)^n)(Subscript[p, 2k])(s)(Subscript[p, k2])(u), ⋯, (∑_(k=1)^n)(Subscript[p, 2k])(s)(Subscript[p, kn])(u)}, {⋮, ⋮, ⋱, ⋮}, {(∑_(k=1)^n)(Subscript[p, nk])(s)(Subscript[p, k1])(u), (∑_(k=1)^n)(Subscript[p, nk])(s)(Subscript[p, k2])(u), ⋯, (∑_(k=1)^n)(Subscript[p, nk])(s)(Subscript[p, kn])(u)}}))
  = (({{(Subscript[p, 11])(s+u), (Subscript[p, 12])(s+u), ⋯, (Subscript[p, 1n])(s+u)}, {(Subscript[p, 21])(s+u), (Subscript[p, 22])(s+u), ⋯, (Subscript[p, 2n])(s+u)}, {⋮, ⋮, ⋱, ⋮}, {(Subscript[p, n1])(s+u), (Subscript[p, n2])(s+u), ⋯, (Subscript[p, nn])(s+u)}}))    (Chapman Kolmogorov equation)
  = P(s+u).

For (7) note that
(P^T)(s)p(t) = (({{(Subscript[p, 11])(s), (Subscript[p, 21])(s), ⋯, (Subscript[p, n1])(s)}, {(Subscript[p, 12])(s), (Subscript[p, 22])(s), ⋯, (Subscript[p, n2])(s)}, {⋮, ⋮, ⋱, ⋮}, {(Subscript[p, 1n])(s), (Subscript[p, 2n])(s), ⋯, (Subscript[p, nn])(s)}}))(({{(Subscript[p, 1])(t)}, {(Subscript[p, 2])(t)}, {⋮}, {(Subscript[p, n])(t)}}))
  = (({{(∑_(k=1)^n)(Subscript[p, k1])(s)(Subscript[p, k])(t)}, {(∑_(k=1)^n)(Subscript[p, k2])(s)(Subscript[p, k])(t)}, {⋮}, {(∑_(k=1)^n)(Subscript[p, kn])(s)(Subscript[p, k])(t)}})) = (({{(∑_(k=1)^n)P((Subscript[X, t+s])=(Subscript[x, 1])|(Subscript[X, t])=(Subscript[x, k]))P((Subscript[X, t])=(Subscript[x, k]))}, {(∑_(k=1)^n)P((Subscript[X, t+s])=(Subscript[x, 2])|(Subscript[X, t])=(Subscript[x, k]))P((Subscript[X, t])=(Subscript[x, k]))}, {⋮}, {(∑_(k=1)^n)P((Subscript[X, t+s])=(Subscript[x, n])|(Subscript[X, t])=(Subscript[x, k]))P((Subscript[X, t])=(Subscript[x, k]))}}))
  = (({{P((Subscript[X, t+s])=(Subscript[x, 1]))}, {P((Subscript[X, t+s])=(Subscript[x, 2]))}, {⋮}, {P((Subscript[X, t+s])=(Subscript[x, n]))}}))    (law of total probability)
   = (({{(Subscript[p, 1])(t+s)}, {(Subscript[p, 2])(t+s)}, {⋯}, {(Subscript[p, n])(t+s)}})) = p(t+s).

Frame 30

The stationary condition
π = (P^T)π    ⟹    (({{(Subscript[π, 1])}, {(Subscript[π, 2])}})) = (({{α, β}, {1-α, 1-β}}))(({{(Subscript[π, 1])}, {(Subscript[π, 2])}}))
s.t.
(Subscript[π, 1])+(Subscript[π, 2]) = 1.

In scalar form this is
(Subscript[π, 1]) = α (Subscript[π, 1])+β (Subscript[π, 2])    (1)
(Subscript[π, 2]) = (1-α) (Subscript[π, 1])+(1-β) (Subscript[π, 2])
(Subscript[π, 1])+(Subscript[π, 2]) = 1.    (2)

From (1) we have
(1-α)(Subscript[π, 1]) = β (Subscript[π, 2])  = β -β (Subscript[π, 1])
or
(1-α+β)(Subscript[π, 1]) = β
which gives
(Subscript[π, 1]) = (β/(1-α+β)).

Using (2) we have
(Subscript[π, 2]) = 1-(Subscript[π, 1]) = 1-(β/(1-α+β)) = ((1-α)/(1-α+β)).

Frame 34

Example

P = (({{0, 1}, {1, 0}})).

To find stationary distribution solve the equation
π = (P^T)π
with
(Subscript[π, 1])+(Subscript[π, 2])=1.

This is equivalent to
(({{0, 1}, {1, 0}}))(({{(Subscript[π, 1])}, {(Subscript[π, 2])}})) = (({{(Subscript[π, 1])}, {(Subscript[π, 2])}}))
or
(({{(Subscript[π, 2])}, {(Subscript[π, 1])}})) = (({{(Subscript[π, 1])}, {(Subscript[π, 2])}}))
s.t. (Subscript[π, 1])+(Subscript[π, 2])=1.

So the stationary distribution is
π = (({{(1/2)}, {(1/2)}}))
which of course is unique.

Let
p(0)=(({{1}, {0}})).
Then
p(1)=(P^T)p(0)  ⟹  p(1) = (({{0, 1}, {1, 0}}))(({{1}, {0}})) = (({{0}, {1}}))
p(2)=(P^T)p(1)  ⟹  p(2) = (({{0, 1}, {1, 0}}))(({{0}, {1}})) = (({{1}, {0}}))
p(3)=(P^T)p(2)  ⟹  p(2) = (({{0, 1}, {1, 0}}))(({{1}, {0}})) = (({{0}, {1}}))
etc...
So limit doesn't exist and the chain is not ergodic.

So unique stationary distribution does not imply ergodicity
BUT
ergodicity implies unique stationary distribution.

Frame 37

Example

P = (({{0, (1/2), (1/2)}, {1, 0, 0}, {(1/6), (1/3), (1/2)}})).

Stationary distribution satisfies
(P^T)π = π
which is an eigenvalue/eigenvector problem with eigenvalue equal to 1 and
(Subscript[π, 1])+(Subscript[π, 2])+(Subscript[π, 3])=1.

We need to solve
(P^T)π = π  ⟹  ((P^T) - I)π = 0    (I the identity matrix)
s.t.
1·π = 1
which gives the augmented system
(({{-1, 1, (1/6)}, {(1/2), -1, (1/3)}, {(1/2), 0, -(1/2)}, {1, 1, 1}}))(({{(Subscript[π, 1])}, {(Subscript[π, 2])}, {(Subscript[π, 3])}})) = (({{0}, {0}, {0}, {1}})).
or
(({{-1, 1, (1/6), 0}, {(1/2), -1, (1/3), 0}, {(1/2), 0, -(1/2), 0}, {1, 1, 1, 1}})) ~ (({{1, 1, 1, 1}, {-1, 1, (1/6), 0}, {(1/2), -1, (1/3), 0}, {(1/2), 0, -(1/2), 0}})) ~ (({{1, 1, 1, 1}, {0, 2, (7/6), 1}, {0, -(3/2), -(1/6), -(1/2)}, {0, -(1/2), -1, -(1/2)}})) ~ (({{1, 1, 1, 1}, {0, 1, (7/12), (1/2)}, {0, 0, (17/24), (1/4)}, {0, 0, -(17/24), -(1/4)}}))
 ~ (({{1, 1, 1, 1}, {0, 1, (7/12), (1/2)}, {0, 0, 1, (6/17)}, {0, 0, 0, 0}}))
which is
(({{1, 1, 1}, {0, 1, (7/12)}, {0, 0, 1}, {0, 0, 0}}))(({{(Subscript[π, 1])}, {(Subscript[π, 2])}, {(Subscript[π, 3])}})) = (({{1}, {(1/2)}, {(6/17)}, {0}})).

So we have
(Subscript[π, 3]) = (6/17),
(Subscript[π, 2])+(7/12)(Subscript[π, 3]) = (1/2)    ⟹    (Subscript[π, 2])=(1/2)-(7/12)(Subscript[π, 3]) = (1/2)-(7/12)(6/17) = (5/17),
(Subscript[π, 1])+(Subscript[π, 2])+(Subscript[π, 3]) = 1    ⟹    (Subscript[π, 1]) = 1-(Subscript[π, 2])-(Subscript[π, 3]) = 1-(5/17)-(6/17) = (6/17)
or
π = (({{(6/17)}, {(5/17)}, {(6/17)}})).

Using Mathematica

(* finding eigenvector with eigenvalue=1 *)
PP={{0,(1/2),(1/2)},{1,0,0},{(1/6),(1/3),(1/2)}};
Table[MatrixPower[PP,n]//MatrixForm,{n,{2,10,50}}]//N
eigensys=Eigensystem[Transpose[PP]];
eigensys//MatrixForm
eigensys[[2,1]]/Total[eigensys[[2,1]]]

(* solving system directly with Gauss-Jordan method *)

RowReduce[(({{-1, 1, (1/6), 0}, {(1/2), -1, (1/3), 0}, {(1/2), 0, -(1/2), 0}, {1, 1, 1, 1}}))]//MatrixForm

(* solving system directly *)
PP={{0,(1/2),(1/2)},{1,0,0},{(1/6),(1/3),(1/2)}};
m=Append[Transpose[PP-IdentityMatrix[3]],{1,1,1}];
b={0,0,0,1};
LinearSolve[m,b]//MatrixForm

(* finding limit directly *)
PP={{0,(1/2),(1/2)},{1,0,0},{(1/6),(1/3),(1/2)}};
Clear[p1,p2];
p0={p1,p2,1-p1-p2};
PPlimit=Limit[MatrixPower[PP,t],t->∞];
PPlimit//MatrixForm
Transpose[PPlimit].p0//FullSimplify//MatrixForm

Frame 40

𝔼[(Subscript[ξ, i])|(Subscript[X, 0])=(Subscript[x, i])] = (∑_(k=1)^∞)k*P((Subscript[ξ, i])=k|(Subscript[X, 0])=(Subscript[x, i]))
  = (∑_(k=1)^∞)k*(f^(k-1))(1-f)
  = (1-f)(∑_(k=1)^∞)k*(f^(k-1))
  = (1-f)(1*(f^0)+2*(f^1)+3*(f^2)+4*(f^3)+⋯)
  = (1-f)((∑_(k=1)^∞)(f^(k-1))+(∑_(k=2)^∞)(f^(k-1))+(∑_(k=3)^∞)(f^(k-1))+(∑_(k=4)^∞)(f^(k-1))+⋯)
  = (1-f)((∑_(k=1)^∞)(f^(k-1))+f(∑_(k=2)^∞)(f^(k-2))+(f^2)(∑_(k=3)^∞)(f^(k-3))+(f^3)(∑_(k=4)^∞)(f^(k-4))+⋯)
  = (1-f)((∑_(k-1=0)^∞)(f^(k-1))+f(∑_(k-2=0)^∞)(f^(k-2))+(f^2)(∑_(k-3=0)^∞)(f^(k-3))+(f^3)(∑_(k-4=0)^∞)(f^(k-4))+⋯)
  = (1-f)((∑_(j=0)^∞)(f^j)+f(∑_(j=0)^∞)(f^j)+(f^2)(∑_(j=0)^∞)(f^j)+(f^3)(∑_(j=0)^∞)(f^j)+⋯)
  = (1-f)((f^0)(1/(1-f))+(f^1)(1/(1-f))+(f^2)(1/(1-f))+(f^3)(1/(1-f))+⋯)    (convergent geometric series as |f|<1)
  = (∑_(j=0)^∞)(f^j)
  = (1/(1-f))    (convergent geometric series as |f|<1)

Calculations

(∑_(j=0)^∞)(f^j)

Frame 42-43

PP={{1/2,1/2,0,0},{1/2,1/2,0,0},{1/4,1/4,1/4,1/4},{0,0,0,1}};
chain=DiscreteMarkovProcess[{1/4,1/4,1/4,1/4},PP];
Graph[chain]

MarkovProcessProperties[chain,"CommunicatingClasses"]

MarkovProcessProperties[chain,"TransientClasses"]

MarkovProcessProperties[chain,"AbsorbingClasses"]

MarkovProcessProperties[chain,"RecurrentClasses"]

Frame 44-45

PP={{1/2,1/2,0,0,0},{1/2,1/2,0,0,0},{0,0,1/2,1/2,0},{0,0,1/2,1/2,0},{1/4,1/4,0,0,1/2}};
chain=DiscreteMarkovProcess[{1/5,1/5,1/5,1/5,1/5},PP];
Graph[chain]

MarkovProcessProperties[chain,"CommunicatingClasses"]

MarkovProcessProperties[chain,"TransientClasses"]

MarkovProcessProperties[chain,"AbsorbingClasses"]

MarkovProcessProperties[chain,"RecurrentClasses"]

Frame 47

PP={{0,0,1},{1,0,0},{0,1,0}};
chain=DiscreteMarkovProcess[{1/3,1/3,1/3},PP];
Graph[chain]
Table[MatrixPower[PP,n]//MatrixForm,{n,{1,2,3,4,5,6}}]

MarkovProcessProperties[chain,"Periods"]

Consider state (Subscript[x, 1]).

Note that    (Subscript[p, 11])(s)≠0    when    s∈{3,6,9,…}.

The greatest common divisor of this set
gcd{3,6,9,…} = 3.

So state (Subscript[x, 1]) has period    (Subscript[d, 1])=3.

Why is greatest common divisor 3?

First we try divisor 1 and get
{(3/1)=3, (6/1)=6, (9/1)=9,…}
which results in no remainders. So    (Subscript[d, 1])=1    is a candidate.

Next we try divisor 2 and get
{(3/2)=1.5, (6/2)=3, (9/2)=4.5,…}
which results in remainders for odd s. So    (Subscript[d, 1])=2    is not a candidate.

Next we try divisor 3 and get
 {(3/3)=1, (6/3)=2, (9/3)=3,…}
which reuslts in no remainders. So    (Subscript[d, 3])=3    is a candidate.

Next we try divisor 4 and get
 {(3/4)=0.75, (6/4)=1.5, (9/4)=2.25,…}
which reuslts in remainders. So    (Subscript[d, 4])=4    (or any integer greater than 4) is not a candidate.

So the greatest common divisor is 3.