{[ promptMessage ]}

Bookmark it

{[ promptMessage ]}

12. Markov Chains (OR Models)

12. Markov Chains (OR Models) - Chains Topics State...

Info iconThis preview shows pages 1–8. Sign up to view the full content.

View Full Document Right Arrow Icon
Lecture 12 – Discrete-Time Markov  Chains Topics State transition matrix Network diagrams Examples: gambler’s ruin, brand switching, IRS, craps Transient probabilities Steady-state probabilities
Background image of page 1

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full Document Right Arrow Icon
Many real-world systems contain uncertainty and  evolve over time.   Stochastic processes (and Markov chains) are probability models for such systems. Discrete – Time Markov Chains Origins : Galton-Watson process   When and with what  probability will a family name become extinct? discrete-time stochastic process   is a sequence of random variables  X 0 X 1 X 2 , . . .  typically denoted by {  X n   }.
Background image of page 2
Components of Stochastic Processes The  state space  of a stochastic process is  the set of all values that the  X n ’s can take. (we will be concerned with  stochastic processes with a finite # of states ) Time n  = 0, 1, 2, . . . State v -dimensional vector,  s  = ( s 1 s 2 , . . . ,  s v )    In general, there are  m  states,  s 1 s 2 , . . . ,  s m   or   s 0 s 1 , . . . ,  s m -1     Also,  X n  takes one of  m  values, so  X n     s .
Background image of page 3

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full Document Right Arrow Icon
At time 0 I have  X = $2, and each day I make a $1 bet.  I win with  probability  p  and lose with probability 1–  p .  I’ll quit if I ever  obtain $4 or if I lose all my money. State space is  S  = { 0, 1, 2, 3, 4 } Let  X n  = amount of money I have  after  the bet on day  n . Gambler’s Ruin If  X n  = 4, then  X n +1  =  X n +2  =  • • •  = 4.   If  X n  = 0, then  X n +1  =  X n +2  =  • • •  = 0. 1 3 with probabilty So, 1 with probabilty 1 p X p = -
Background image of page 4
A stochastic process {  X n   } is called a  Markov chain  if  Pr {   X n +1  =  j   |  X 0  =  k 0 , . . . ,  X n -1  =  k n -1 X n  =  i   }   = Pr {   X n +1  =  j  |   X n  =  i   }         transition probabilities   for every    i j k 0 , . . . ,  k n -1  and for every  n Discrete time  means  n     N  = {   0, 1, 2, . . . } The  future  behavior of the system depends  only  on the  current state  i  and not on any of the previous states. Markov Chain Definition
Background image of page 5

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full Document Right Arrow Icon
Pr{   X n +1  j  |    X n  =  i  } = Pr{  X j  |   X 0  =  i  }  for all  n (They don’t change over time)  We will  only  consider stationary Markov chains. The one-step  transition matrix  for a Markov chain  with states  S  = { 0, 1, 2 } is where  p ij  =  Pr{  X j     X 0  =  i  } = 22 21 20 12 11 10 02 01 00 p p p p p p p p p P Stationary Transition Probabilities
Background image of page 6
If the state space  S  = {   0, 1, . . . ,  m   –1} then we have   j   p ij   = 1   2200   i     and    p ij     0   2200   i
Background image of page 7

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full Document Right Arrow Icon
Image of page 8
This is the end of the preview. Sign up to access the rest of the document.

{[ snackBarMessage ]}