Cadenas de Markov

Los estados del sistema que describe las sucesivas

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: uesta a cubrir), o bien hasta perder todo su capital, luego de lo cual no puede seguir arriesgando. Los estados del sistema que describe las sucesivas instancias de esta situaci´n son los posibles montos en poder del jugador al o t´rmino de cada apuesta, a saber, 0, 1, 2, . . ., C + G. e 1.2 Cadenas finitas homog´neas en el tiempo e El modelo que describimos a continuaci´n puede utilizarse para estudiar las o situaciones de los ejemplos precedentes. Se tiene un conjunto o espacio de estados finito E = {E1 , E2 , . . . , Ek }. En E hay un estado inicial, posiblemente Introducci´n a la probabilidad. o 1.2. Cadenas finitas. 3 determin´ ıstico, o bien sujeto a un modelo aleatorio que asigna a cada estado Ej de E la probabilidad πj de ser el estado inicial. A este estado lo llamaremos X0 . En un instante dado que llamaremos 1, el sistema pasa de X0 a un nuevo estado X1 , no necesariamente distinto del anterior, que tambi´n es un elemento e del espacio de estados E . A este pasaje lo llamamos una transici´n del sistema. o Luego, en sucesivos instantes prefijados que llamaremos 2, 3, . . ., n, . . ., el sistema pasa de X1 a X2 , de X2 a X3 , . . ., de Xn−1 a Xn , . . . . Las sucesivas transiciones son aleatorias. Lo que caracteriza al modelo que estamos considerando es la forma sencilla en que se describen las probabilidades asociadas a las transiciones: La probabilidad condicional de que el sistema pase de Ei a Ej en el instante n + 1, dado X0 = Ei0 , X1 = Ei1 , . . . , Xn−1 = Ein−1 , Xn = Ei es Pi,j , cantidad que no depende del estado inicial Ei0 ni de los estados intermedios Ei0 , Ei1 , . . . , Ein−1 . Como consecuencia, La probabilidad condicional de que el sistema pase en los instantes 1, 2, . . ., n a los estados Ei1 , Ei2 , . . . , Ein dado que parte de Ei0 es n P{Xh = Eih , h = 1, 2, . . . , n|X0 = Ei0 } = Pih−1 ,ih . (1.1) h=1 Para cada i, j , la probabilidad Pi,j es funci´n exclusiva de Ei y Ej , que o llamamos probabilidad de transici´n de Ei a Ej . o Definici´n 1.2.1 Llamamo...
View Full Document

This note was uploaded on 07/09/2009 for the course FIECS EC314 taught by Professor Ciriloalvarez during the Spring '09 term at Peru State.

Ask a homework question - tutors are online