Cadenas de Markov

qn1 r i q q2 qn2 r qn1 r cada la

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: para el c´lculo de los tiempos esperados a de absorci´n. o Vamos a continuar el estudio de las probabilidades asociadas a una cadena QR , cuyas con matriz de probabilidades de transici´n de la forma P = o 0I Enrique M. Caba˜a. n Cap´ ıtulo 1 Cadenas de Markov. 8 potencias Qn (I + Q + Q2 + . . . + Qn−1 )R 0 I Pn = , hemos calculado en §1.3.1. (n) Para cada estado absorbente j , la probabilidad fi,j de llegar por primera (n) (n−1) vez en n pasos partiendo de un estado no absorbente i es pi,j −pi,j , de manera que la matriz que indica esas probabilidades es (I + Q + Q2 + . . . + Qn−1 )R − (I + Q + Q2 + . . . + Qn−2 )R = Qn−1 R. Cada fila de esta matriz corresponde a un estado no absorbente de partida, y cada columna a un estado absorbente de llegada. Los tiempos esperados de llegada τi,j = E(min{n : Xn = j }|X0 = i, X∞ = (n) (∞) j ) = ∞ nfi,j /πj multiplicados por la correspondiente probabilidad de n=1 (∞) absorci´n πj son las componentes de la matriz ∞ nQn−1 R. o n=1 Para obtener la suma de esta serie cuyos sumandos son matrices, vamos a proceder por analog´ con el c´lculo de la serie num´rica ∞ nxn−1 , que vale ıa a e n=1 −2 (1 − x) , como es inmediato verificar, para |x| < 1. Esto sugiere que ∞ nQn−1 = (I − Q)−2 . Para verificarlo, calculamos n=1 (I − Q) 2 ∞ n−1 nQ = (I − Q) n=1 = (I − Q)[ ∞ n=1 ∞ n(Qn−1 − Qn ) n=1 ∞ nQn−1 − (n − 1)Qn−1 ] = (I − Q)(I + n=2 ∞ Qn−1 ), n=2 y ya hemos verificado en §1.3.1 que este producto es la identidad, cuando Qn → 0 y existe (I − Q)−1 . En conclusi´n, los tiempos esperados de absorci´n son las componentes o o −2 o de T = (I − Q) R divididas por las probabilidades de absorci´n. En nuestro 0 5/6 1/6 0 1 −5/6 ejemplo, Q = ,R= , I −Q = , (I −Q)−1 = 0 2/3 1/6 1/6 0 1/3 1 5/2 , de modo que T = 03 (∞) 1 5/2 03 2 1/6 0 1/6 1/6 (∞) = 22/12 20/12 . 3/2 3/2 De πG = 7/12 resulta τG = 22/7, y de πN = 5/12 resulta τN = 4. Confirmamos as...
View Full Document

This note was uploaded on 07/09/2009 for the course FIECS EC314 taught by Professor Ciriloalvarez during the Spring '09 term at Peru State.

Ask a homework question - tutors are online