Cadenas de Markov

En cambio si o e convenimos en que es un vector la

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: nidamente, las probabilidades de ganar y de perder son proporcionales a las probabilidades de estar en G y en N, es decir, a 7 y a 5, de modo que valen respectivamente 7/12 y 5/12. El tiempo esperado de retorno a I es 54/12, que es igual a una unidad m´s el tiempo esperado de a absorci´n, a saber o 54 7 5 = 1 + τG + τN , 12 12 12 donde τG es la esperanza del tiempo de absorci´n cuando se gana el juego, y o τN es la esperanza del tiempo de absorci´n cuando se pierde. o Esta ecuaci´n no basta para obtener las dos inc´gnitas. Agreguemos la o o observaci´n de que la probabilidad de ganar por el tiempo esperado de ganar o es la suma de la probabilidad de ganar en un solo paso multiplicada por 1 m´s la probabilidad de ganar pasando por R ((5/6) × (1/2)) por el tiempo a esperado de ganar pasando por R, que es igual al tiempo esperado de perder, por la simetr´ una vez que se llega a R. Esto es: ıa 7 1 5 τG = + τN . 12 6 12 Las dos ecuaciones nos dan τG = 22/7, y τN = 4. 16 Enrique M. Caba˜a. n Cap´ ıtulo 1 Cadenas de Markov. 2. L´ ımite de las probabilidades en una cadena numerable. 2.1 Cadenas con una cantidad numerable de estados. La definici´n de una Cadena de Markov con un conjunto numerable de estados o E = {E1 , E2 , . . . , En , . . .}, es una extensi´n natural de la definici´n de una o o cadena finita. Tambi´n las notaciones matriciales se extienden a este caso, e utilizando matrices infinitas. Una matriz infinita es una sucesi´n doble P = P·,· = (Pi,j : i, j ∈ N). o Un vector infinito x = x· = (xk : k ∈ N) es una sucesi´n. Si convenimos en o decir que x es un vector columna, multiplicamos P x = j P·,j xj y convenimos en que la sucesi´n resultante es tambi´n un vector columna. En cambio, si o e convenimos en que π = π· es un vector fila, entonces tambi´n convenimos en e que πP es un vector fila, a saber, πP = i πi Pi,· . Omitimos detallar otras operaciones entre matrices infinitas, por ejemplo, suma o producto, que son tambi´n generalizaci´n natural de las mis...
View Full Document

Ask a homework question - tutors are online