Stoch Proc - Lab/Tutorial 12 Solutions

Scott Alexander

Question 1

(a)

Clear[t];
ψ={-3,-6,-5,3,21,46,67,74,67,46,21,3,-5,-6,-3}/320; (* filter coefficients *)
x[t_]:=(Subscript[c, 0])+(Subscript[c, 1])t+(Subscript[c, 2])(t^2)+(Subscript[c, 3])(t^3)+z[t]; (* process (Subscript[X, t]) *)
(∑_(j=-7)^7)ψ[[j+8]]x[t-j]//Expand

(b)

c0=-20; c1=4; c2=-0.13; c3=0.001; σ=10; TT=100; (* parameters *)
ψ={-3,-6,-5,3,21,46,67,74,67,46,21,3,-5,-6,-3}/320; (* filter coefficients *)

t=Table[t,{t,1,TT}]; (* t data *)

mt=c0+c1 t+c2 (t^2)+c3 (t^3); (* (Subscript[m, t]) data *)

zt=RandomReal[NormalDistribution[0,10],TT]; (* (Subscript[z, t]) data *)

xt=mt+zt; (* (Subscript[x, t]) data *)

yt=Table[ψ.xt[[j-7;;j+7]],{j,8,TT-7}]; (* (Subscript[y, t]) data *)

ListPlot[Transpose[{t,xt}],AxesLabel->{"t","(Subscript[x, t])"}]
ListPlot[Transpose[{t,mt}],AxesLabel->{"t","(Subscript[m, t])"}]
ListPlot[Transpose[{t[[8;;TT-7]],yt}],AxesLabel->{"t","(Subscript[y, t])"}]

Question 2

(a)

We have
(Subscript[X, t]) = λ (Subscript[X, t-1])+(Subscript[Z, t])
  = (∑_(j=0)^∞)(λ^j)(Subscript[Z, t-j])
which is characterised by the ploynomial
ϕ(z) = 1-λ z
which has root
z = (1/λ).
But we are given    \[LeftBracketingBar]λ\[RightBracketingBar]<1    implying    \[LeftBracketingBar](1/λ)\[RightBracketingBar]>1.
As the root is outside the complex unit circle the process is causal.

By page 8 Chapter 8 Notes we have
cov((Subscript[X, t]),(Subscript[X, t+h])) = (σ^2)((λ^h)/(1-(λ^2)))
so
cov((((Subscript[X, 1])+(Subscript[X, 3])+(Subscript[X, 5]))/3),(((Subscript[X, 2])+(Subscript[X, 4]))/2)) = (1/6)(cov((Subscript[X, 1]),(Subscript[X, 2]))+cov((Subscript[X, 1]),(Subscript[X, 4]))+cov((Subscript[X, 3]),(Subscript[X, 2]))+cov((Subscript[X, 3]),(Subscript[X, 4]))+cov((Subscript[X, 5]),(Subscript[X, 2]))+cov((Subscript[X, 5]),(Subscript[X, 4])))
  = (1/6)(cov((Subscript[X, 1]),(Subscript[X, 2]))+cov((Subscript[X, 1]),(Subscript[X, 4]))+cov((Subscript[X, 2]),(Subscript[X, 3]))+cov((Subscript[X, 3]),(Subscript[X, 4]))+cov((Subscript[X, 2]),(Subscript[X, 5]))+cov((Subscript[X, 4]),(Subscript[X, 5])))
  = ((σ^2)/6)(4(λ/(1-(λ^2)))+2((λ^3)/(1-(λ^2))))
  = ((((λ^3)+2λ) (σ^2))/(3 (1-(λ^2)))).

(b)

(Subscript[X, t]) = (Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j])
cov((Subscript[X, t]),(Subscript[X, t+h])) = cov((Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(Subscript[Z, t+h])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t+h-j]))
  = cov((Subscript[Z, t]),(Subscript[Z, t+h]))+cov((Subscript[Z, t]),(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t+h-j]))+cov((∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(Subscript[Z, t+h]))+cov((∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t+h-j]))
  = cov((Subscript[Z, t]),(Subscript[Z, t+h]))+ (∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t]),(Subscript[Z, t+h-j]))+(∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t-j]),(Subscript[Z, t+h]))+(∑_(j=1)^q)(∑_(k=1)^q)(Subscript[θ, j])(Subscript[θ, k])cov((Subscript[Z, t-j]),(Subscript[Z, t+h-k]))

Case h=0
cov((Subscript[X, t]),(Subscript[X, t+h])) = cov((Subscript[X, t]),(Subscript[X, t]))
  = cov((Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]))
  = cov((Subscript[Z, t]),(Subscript[Z, t]))+ (∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t]),(Subscript[Z, t-j]))+(∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t-j]),(Subscript[Z, t]))+(∑_(j=1)^q)(∑_(k=1)^q)(Subscript[θ, j])(Subscript[θ, k])cov((Subscript[Z, t-j]),(Subscript[Z, t-k]))
  =cov((Subscript[Z, t]),(Subscript[Z, t]))+0+0+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[θ, j])cov((Subscript[Z, t-j]),(Subscript[Z, t-j]))
  =cov((Subscript[Z, t]),(Subscript[Z, t]))+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[θ, j])var((Subscript[Z, t-j]))
  =(σ^2)(1+(∑_(j=1)^q)(Subscript[θ, j]^2))

Case 0<h≤q
cov((Subscript[X, t]),(Subscript[X, t+h])) = cov((Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(Subscript[Z, t+h])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t+h-j]))
 = cov((Subscript[Z, t]),(Subscript[Z, t+h]))+ (∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t]),(Subscript[Z, t+h-j]))+(∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t-j]),(Subscript[Z, t+h]))+(∑_(j=1)^q)(∑_(k=1)^q)(Subscript[θ, j])(Subscript[θ, k])cov((Subscript[Z, t-j]),(Subscript[Z, t+h-k]))
 = 0+(Subscript[θ, h])cov((Subscript[Z, t]),(Subscript[Z, t]))+0+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[θ, h+j])cov((Subscript[Z, t-j]),(Subscript[Z, t-j]))    (in first single sum we need j=h, in double sum we need k=h+j)
  = (Subscript[θ, h])cov((Subscript[Z, t]),(Subscript[Z, t]))+(∑_(j=1)^(q-h))(Subscript[θ, j])(Subscript[θ, h+j])cov((Subscript[Z, t-j]),(Subscript[Z, t-j]))+(∑_(j=q-h+1)^q)(Subscript[θ, j])(Subscript[θ, h+j])cov((Subscript[Z, t-j]),(Subscript[Z, t-j]))
  = (σ^2)((Subscript[θ, h])+(∑_(j=1)^(q-h))(Subscript[θ, j])(Subscript[θ, h+j]))
as    (Subscript[θ, h+j])=0    for    j=q-h+1,...,q.

Case h>q
cov((Subscript[X, t]),(Subscript[X, t+h])) = cov((Subscript[Z, t])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t-j]),(Subscript[Z, t+h])+(∑_(j=1)^q)(Subscript[θ, j])(Subscript[Z, t+h-j]))
 = cov((Subscript[Z, t]),(Subscript[Z, t+h]))+ (∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t]),(Subscript[Z, t+h-j]))+(∑_(j=1)^q)(Subscript[θ, j])cov((Subscript[Z, t-j]),(Subscript[Z, t+h]))+(∑_(j=1)^q)(∑_(k=1)^q)(Subscript[θ, j])(Subscript[θ, k])cov((Subscript[Z, t-j]),(Subscript[Z, t+h-k]))
  = 0+0+0+0 = 0.

So
cov((Subscript[X, t]),(Subscript[X, t+h])) = ({{{, ({{(σ^2)(1+(∑_(j=1)^q)(Subscript[θ, j]^2)),, h=0}, {(σ^2)((Subscript[θ, h])+(∑_(j=1)^(q-h))(Subscript[θ, j])(Subscript[θ, h+j])), h≤q}, {0, h>q}})}}).

(c)

We have
(Subscript[X, t]) = -(11/21)(Subscript[X, t-1])+(2/7)(Subscript[X, t-2])+(Subscript[Z, t])-(6/5)(Subscript[Z, t-1])-(8/5)(Subscript[Z, t-2]) 
so
(Subscript[ϕ, 1])=-(11/21),    (Subscript[ϕ, 2])=(2/7)
and
(Subscript[θ, 1])=-(6/5),    (Subscript[θ, 2])=-(8/5).

The AR polynomial
ϕ(z) = 1+(11/21)z-(2/7)(z^2) = (1+(6/7)z)(1-(1/3)z)
which has roots    (Subscript[z, 1])=-(7/6)    and    (Subscript[z, 2])=3.
So X is causal w.r.t Z as  \[LeftBracketingBar](Subscript[z, 1])\[RightBracketingBar],\[LeftBracketingBar](Subscript[z, 2])\[RightBracketingBar]>1.

As an aside, the MA polynomial
θ(z) = 1-(6/5)z-(8/5)(z^2) = (1+(4/5)z)(1-2z)
which has roots    (Subscript[z, 1])=-(5/4)    and    (Subscript[z, 2])=(1/2).
So X is not invertible w.r.t Z as  \[LeftBracketingBar](Subscript[z, 2])\[RightBracketingBar]<1.

Becasue X is causal w.r.t. Y
(Subscript[X, t]) = (∑_(j=-∞)^∞)(Subscript[ψ, j])(Subscript[((B^j)Z), t]) = (∑_(j=0)^∞)(Subscript[ψ, j])(Subscript[((B^j)Z), t])
  ≈ (∑_(j=0)^4)(Subscript[ψ, j])((B^j)Z).

Then by page 35 Chapter 8 Notes
(Subscript[ψ, 0]) = 1,
(Subscript[ψ, 1]) = (∑_(k=1)^1)(Subscript[ϕ, k])(Subscript[ψ, 1-k])+(Subscript[θ, 1]) = (Subscript[ϕ, 1])(Subscript[ψ, 0])+(Subscript[θ, 1]) = -(11/21)*1+(-(6/5)) = -(181/105),
(Subscript[ψ, 2]) = (∑_(k=1)^2)(Subscript[ϕ, k])(Subscript[ψ, 2-k])+(Subscript[θ, 2]) = (Subscript[ϕ, 1])(Subscript[ψ, 1])+(Subscript[ϕ, 2])(Subscript[ψ, 0])+(Subscript[θ, 2]) = -(11/21)(-(181/105))+(2/7)*1+(-(8/5)) = -(907/2205),
(Subscript[ψ, 3]) = (∑_(k=1)^3)(Subscript[ϕ, k])(Subscript[ψ, 3-k])+(Subscript[θ, 3]) = (Subscript[ϕ, 1])(Subscript[ψ, 2])+(Subscript[ϕ, 2])(Subscript[ψ, 1])+(Subscript[ϕ, 3])(Subscript[ψ, 0])+(Subscript[θ, 3]) = -(11/21)(-(907/2205))+(2/7)(-(181/105))+0+0 = -(12829/46305),
(Subscript[ψ, 4]) = (∑_(k=1)^4)(Subscript[ϕ, k])(Subscript[ψ, 4-k])+(Subscript[θ, 4]) = (Subscript[ϕ, 1])(Subscript[ψ, 3])+(Subscript[ϕ, 2])(Subscript[ψ, 2])+(Subscript[ϕ, 3])(Subscript[ψ, 1])+(Subscript[ϕ, 4])(Subscript[ψ, 0])+(Subscript[θ, 4]) = -(11/21)(-(12829/46305))+(2/7)(-(907/2205))+0+0+0 = (26837/972405).

So
(Subscript[X, t]) ≈ (∑_(j=0)^4)(Subscript[ψ, j])(Subscript[((B^j)Z), t]) = (Subscript[Z, t])-(181/105)(Subscript[Z, t-1])-(907/2205)(Subscript[Z, t-2])-(12829/46305)(Subscript[Z, t-3])+(26837/972405)(Subscript[Z, t-4])
  ≈ (Subscript[Z, t])-1.723809523809524`(Subscript[Z, t-1])-0.4113378684807256`(Subscript[Z, t-2])-0.2770543137890077`(Subscript[Z, t-3])+0.02759858289498717`(Subscript[Z, t-4]).

Roots of ϕ polynomial

Solve[1+(11/21)z-(2/7)(z^2)==0,z]

(1+(6/7)z)(1-(1/3)z)//Expand

Roots of θ polynomial

Solve[1-(6/5)z-(8/5)(z^2)==0,z]

(1+(4/5)z)(1-2z)//Expand

Coefficients

(-(11/21))1+(-(6/5))//N

-(11/21)(-(181/105))+(2/7)*1+(-(8/5))//N

-(11/21)(-(907/2205))+(2/7)(-(181/105))+0+0//N

-(11/21)(-(12829/46305))+(2/7)(-(907/2205))+0+0+0//N

Question 3

(a)

Formal integral notation

First let
(Subscript[G, t]) = (∫_0^t)(e^u)d(Subscript[B, u])
or
d(Subscript[G, t]) = (e^t)d(Subscript[B, t])
from which we identify the drift function
(Subscript[a, t]) = 0
and diffusion function
(Subscript[b, t]) = (e^t).

Find Ito representation of
(Subscript[Y, t]) = (Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]) = g(t,(Subscript[G, t])).

Partial derivatives.
(∂/(∂t))g(t,g) = (∂/(∂t))((Subscript[Y, 0])(e^(-t ))+(e^(-t))g) = -(Subscript[Y, 0])(e^(-t ))-(e^(-t))g
(∂/(∂g))g(t,g) = (∂/(∂g))((Subscript[Y, 0])(e^(-t ))+(e^(-t))g)  = (e^(-t))
((∂^2)/(∂(g^2)))g(t,g) = ((∂^2)/(∂(g^2)))((Subscript[Y, 0])(e^(-t ))+(e^(-t))g)  = 0

Applying Ito formula.
(Subscript[Y, t]) = (Subscript[Y, 0])(e^(0 ))+(e^(-0))(Subscript[G, 0])+(∫_0^t)((∂/(∂u))((Subscript[Y, 0])(e^(-u ))+(e^(-u))(Subscript[G, u]))+(Subscript[a, u])(∂/(∂g))((Subscript[Y, 0])(e^(-u ))+(e^(-u))(Subscript[G, u]))+(1/2)(Subscript[b, u]^2)((∂^2)/(∂(g^2)))((Subscript[Y, 0])(e^(-u ))+(e^(-u))(Subscript[G, u])))du+(∫_0^t)(Subscript[b, u])(∂/(∂g))((Subscript[Y, 0])(e^(-u ))+(e^(-u))(Subscript[G, u]))d(Subscript[B, u])
  =  (Subscript[Y, 0])+ (∫_0^t)(-(Subscript[Y, 0])(e^(-u ))-(e^(-u))(Subscript[G, u])+0+0)du+(∫_0^t)(e^u)(e^(-u))d(Subscript[B, u])
  = (Subscript[Y, 0])-(∫_0^t)((Subscript[Y, 0])(e^(-u ))+(e^(-u))(Subscript[G, u]))du+(∫_0^t)d(Subscript[B, u])
or
(Subscript[Y, t]) = (Subscript[Y, 0])-(∫_0^t)(Subscript[Y, u])du+(Subscript[B, t])
which in SDE form is
d(Subscript[Y, t]) = -(Subscript[Y, t])dt+d(Subscript[B, t]).

Convenient notation

We have
d(Subscript[Y, t]) = d((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))
  = (∂/(∂t))((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))dt+(∂/(∂g))((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))d(Subscript[G, t])+(1/2)((∂^2)/(∂(g^2)))((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))d(Subscript[G, t])d(Subscript[G, t])
  = -((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))dt+(e^(-t))d(Subscript[G, t])+0
  = -((Subscript[Y, 0])(e^(-t ))+(e^(-t))(Subscript[G, t]))dt+(e^(-t))(e^t)d(Subscript[B, t])
  = -(Subscript[Y, t])dt+d(Subscript[B, t]).

Another way

We have
d(Subscript[Y, t]) = d((Subscript[Y, 0])(e^(-t ))+(e^(-t))(∫_0^t)(e^u)d(Subscript[B, u]))
  = (Subscript[Y, 0])d(e^(-t ))+d((e^(-t))(∫_0^t)(e^u)d(Subscript[B, u]))
  = (Subscript[Y, 0])d(e^(-t ))+d((e^(-t)))(∫_0^t)(e^u)d(Subscript[B, u])+(e^(-t))d(∫_0^t)(e^u)d(Subscript[B, u])
  = -(Subscript[Y, 0])(e^(-t ))dt-(e^(-t))dt(∫_0^t)(e^u)d(Subscript[B, u])+(e^(-t))(e^t)d(Subscript[B, t])
  = -((Subscript[Y, 0])(e^(-t ))+(e^(-t))(∫_0^t)(e^u)d(Subscript[B, u]))dt+d(Subscript[B, t])
  = -(Subscript[Y, t])dt+d(Subscript[B, t])

(b)

Clear[y0,TT,dt,n,t,yt];
y0=0;TT=10; (* parameters *)
dt=0.01; n=TT/dt; (* simulation parameters *)

t=Table[i dt,{i,0,n}]; (* time *)

yt=Table[y0,{n+1}]; (* container for simulated (Subscript[X, t]) *)
dbt=RandomReal[NormalDistribution[0,(Sqrt[dt])],n]; (* generate simulated (Subscript[B, Δt]) RVs *)

For[j=1,j≤n,j++,
yt[[j+1]]=yt[[j]]-yt[[j]]dt+dbt[[j]]
]; (* generate path *)
ListLinePlot[Transpose[{t,yt}],AxesLabel->{"t","(Subscript[(OverHat[Y]), t])"},PlotLabel->"Plot of Euler Scheme Approximation of (Subscript[Y, t])"]

(c)

Formal integral notation

We have the Ito representation
(Subscript[X, t])=1+(∫_0^t)r (Subscript[X, u])du+(∫_0^t)σ (Subscript[X, u])d(Subscript[B, u])
or
d(Subscript[X, t]) = r (Subscript[X, t])dt+σ (Subscript[X, t])d(Subscript[B, t])
from which we identify the drift function
(Subscript[a, t]) =r (Subscript[X, t])
and diffusion function
(Subscript[b, t]) = σ (Subscript[X, t]).

Find Ito representation of
(Subscript[Z, t]) = ln (Subscript[X, t])-t = g(t,(Subscript[X, t])).

Partial derivatives.
(∂/(∂t))g(t,x) = (∂/(∂t))(ln x-t)= -1
(∂/(∂x))g(t,x) = (∂/(∂x))(ln x-t)  = (1/x)
((∂^2)/(∂(x^2)))g(t,x) = ((∂^2)/(∂(x^2)))(ln x-t) = -(1/(x^2))

Applying Ito formula.
ln (Subscript[X, t])-t = ln 1-0+(∫_0^t)((∂/(∂u))(ln (Subscript[X, u])-u)+(Subscript[a, u])(∂/(∂x))(ln (Subscript[X, u])-u)+(1/2)(Subscript[b, u]^2)((∂^2)/(∂(x^2)))(ln (Subscript[X, u])-u))du+(∫_0^t)(Subscript[b, u])(∂/(∂x))(ln (Subscript[X, u])-u)d(Subscript[B, u])
  = (∫_0^t)(-1+r (Subscript[X, u])(1/(Subscript[X, u]))+(1/2)(σ^2)(Subscript[X, u]^2)(-(1/(Subscript[X, u]^2))))du+(∫_0^t)σ (Subscript[X, u])(1/(Subscript[X, u]))d(Subscript[B, u])
  = (∫_0^t)(r-((σ^2)/2)-1)du+(∫_0^t)σ d(Subscript[B, u])
or
(Subscript[Z, t]) = (r-((σ^2)/2)-1)t+σ (Subscript[B, t]).

Convenient notation

We have
d(Subscript[Z, t]) = d(ln (Subscript[X, t])-t)
  = (∂/(∂t))(ln (Subscript[X, t])-t)dt+(∂/(∂x))( ln (Subscript[X, t])-t)d(Subscript[X, t])+(1/2)((∂^2)/(∂(x^2)))( ln (Subscript[X, t])-t)d(Subscript[X, t])d(Subscript[X, t])
  = -dt+(1/(Subscript[X, t]))(r (Subscript[X, t])dt+σ (Subscript[X, t])d(Subscript[B, t]))+(1/2)(-(1/(Subscript[X, t]^2)))(r (Subscript[X, t])dt+σ (Subscript[X, t])d(Subscript[B, t]))(r (Subscript[X, t])dt+σ (Subscript[X, t])d(Subscript[B, t]))
  = -dt+(1/(Subscript[X, t]))(r (Subscript[X, t])dt+σ (Subscript[X, t])d(Subscript[B, t]))+(1/2)(-(1/(Subscript[X, t]^2)))(σ^2)(Subscript[X, t]^2)dt    (dtd(Subscript[B, t])=d(Subscript[B, t])dt=dtdt=0)
  = (r-((σ^2)/2)-1)dt+σ d(Subscript[B, t]).

(d)

Clear[z0,r,σ,TT,dt,n,t,zt];
z0=1;r=0.04;σ=0.5;TT=10; (* parameters *)
dt=0.01; n=TT/dt; (* simulation parameters *)

t=Table[i dt,{i,0,n}]; (* time *)

zt=Table[z0,{n+1}]; (* container for simulated (Subscript[X, t]) *)
dbt=RandomReal[NormalDistribution[0,(Sqrt[dt])],n]; (* generate simulated (Subscript[B, Δt]) RVs *)

For[j=1,j≤n,j++,
zt[[j+1]]=zt[[j]]+(r-((σ^2)/2)-1)dt+σ dbt[[j]]
]; (* generate path *)
ListLinePlot[Transpose[{t,zt}],AxesLabel->{"t","(Subscript[(OverHat[Z]), t])"},PlotLabel->"Plot of Euler Scheme Approxaimtion of (Subscript[Z, t])"]