Tema4 - Tema 4: Cadenas de Markov Ezequiel Lpez Rubio...

Info iconThis preview shows pages 1–15. Sign up to view the full content.

View Full Document Right Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Tema 4: Cadenas de Markov Ezequiel Lpez Rubio Departamento de Lenguajes y Ciencias de la Computacin Universidad de Mlaga Sumario Procesos estocsticos Concepto de cadena de Markov Ecuaciones de Chapman-Kolmogorov Clasificacin de estados Cadenas absorbentes Distribucin estacionaria Procesos estocsticos Procesos estocsticos Un sistema informtico complejo se caracteriza por demandas de carcter aleatorio y por ser dinmico Necesitamos una herramienta que modele procesos aleatorios en el tiempo, y para ello usaremos los procesos estocsticos Un proceso estocstico es una familia de variables aleatorias parametrizadas por el tiempo Procesos estocsticos Un proceso estocstico es una familia de variables aleatorias definida sobre un espacio de probabilidad. Es decir: { } T t X t , : ( 29 ( 29 t X X t , = Procesos estocsticos Tendremos que X es una funcin de dos argumentos. Fijado = , obtenemos una funcin determinista (no aleatoria): ( 29 T X : , ( 29 , t X t Procesos estocsticos Asimismo, fijado t=t , obtenemos una de las variables aleatorias de la familia: ( 29 : , t X ( 29 , t X Procesos estocsticos El espacio de estados S de un proceso estocstico es el conjunto de todos los posibles valores que puede tomar dicho proceso: ( 29 { } = T t X S t | Ejemplo de proceso estocstico Lanzamos una moneda al aire 6 veces. El jugador gana 1 cada vez que sale cara (C), y pierde 1 cada vez que sale cruz (F). X i = estado de cuentas del jugador despus de la i-sima jugada La familia de variables aleatorias { X 1 , X 2 ,, X 6 } constituye un proceso estocstico Ejemplo de proceso estocstico ={CCCCCC,CCCCCF,} card( ) = 2 6 = 64 P( )=1/64 2200 T={1, 2, 3, 4, 5, 6} S={6, 5, , 1, 0, 1, 2, , 5, 6} X 1 ( )={1, 1} X 2 ( )={2, 0, 2} Ejemplo de proceso estocstico Si fijo , por ejemplo =CCFFFC, obtengo una secuencia de valores completamente determinista: X 1 ( )=1, X 2 ( )=2, X 3 ( )=1, X 4 ( )=0, X 5 ( )= 1, X 6 ( )=0 Puedo dibujar con estos valores la trayectoria del proceso : Ejemplo de proceso estocstico-2-1 1 2 3 1 2 3 4 5 6 Instante de tiempo, t Valor del proceso Ejemplo de proceso estocstico Si fijo t, por ejemplo t =3, obtengo una de las variables aleatorias del proceso: : 3 X ( 29 3 X Los posibles valores que puede tomar el proceso en t =3 son: X 3 ( )={3, 1, 1, 3} Ejemplo de proceso estocstico Podemos hallar la probabilidad de que el proceso tome uno de estos valores: [ ] [ ] [ ] [ ] 8 3 2 1 2 1 2 1 3 FCC P CCF P CFC P 1 ) ( X P 3 = = + + = = [ ] [ ] 8 1 2 1 2 1 2 1 CCC P 3 ) ( X P 3 = = = = [ ] [ ] [ ] [ ] 8 3 2 1 2 1 2 1 3 CFF P FFC P FCF P 1 ) ( X P 3 =...
View Full Document

Page1 / 99

Tema4 - Tema 4: Cadenas de Markov Ezequiel Lpez Rubio...

This preview shows document pages 1 - 15. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online