En la seccin 533 se encuentra la demostracin f ormal

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: s lo mismo maximizar una función que su logaritmo (al ser este una función estrictamente creciente), este máximo puede calcularse derivando con respecto a ^ la función d e verosimilitud (o bien su logaritmo) y tomando como estimador de máxima verosimilitud el que haga la derivada igual a cero. 91ogl/(&) 09 =O (5.3) D e modo más preciso se define el e s t i m a d o r d e m á x i m a verosimilitud c omo la v ariable aleatoria .. ^ = máx/(Xi,X2,...,X„;0) (5.4) E s t i m a c i ó n por intervalo L a estimación por intervalo consiste en determinar un posible rango de valores o intervalo, en los que se pueda precisar —con una determinada probabilidad- que el valor d e un parámetro se encuentra dentro de esos límites. Este parámetro será habitualmente u na probabilidad de éxito en el caso de variables dicotómicas o la media (esperanza) y la v arianza para variables Gaussianas. L a técnica de estimación por intervalos consiste en asociar a cada muestra un intervalo que se sospecha que debe contener al parámetro. A éste se le denomina intervalo de c onfianza. E videntemente, esta técnica no tiene por qué dar siempre un resultado correcto. A la p robabilidad de que se haya acertado al decir que un parámetro estaba contenido en un i ntervalo se le denomina nivel de confianza. 5.3.3. E s t i m a c i ó n de los pzirámetros e n naiVe-Bayes e l E N B E sta sección contiene un análisis formal de cómo se estiman puntualmente los parámetros en nai've-Bayes y los intervalos en lENB. 72 Clasificación Supervisada Basada en RRBB. Aplicación en Biología Computacional E s t i m a c i ó n p u n t u a l d e los p a r á m e t r o s e n na'íve-Bayes E n este apartado se detalla fornaalmente cómo aprender los parámetros en un modelo d e datos na'íve-Bayes. Los resultados obtenidos son intuitivos y, de hecho, ya se hizo uso d e ellos en otros capítulos previos. Se considera un conjunto de datos V = {(x^^^, c^^^),..., (x^-^), c^-'^))} de atributos b inarios. Es decir ) con x^ G { 0,1}. C ada instancia xW tiene asociada u na etiqueta de clase c^'^. Bajándose en la etiqueta de clase es posible dividir las entradas en. aquellas que pertenecen a una determinada clase: "Di = {{y:^^',c^^>) G Dlc^' = i}. Se considera sólo el uso de dos clases (este caso es el denominado proceso de Bernoulli -el c aso de más clases es también directo y se denomina proceso multinomial-). P ara cada una de las clases se deben estimar los valores P{Xk = 1|C = c¿) = 9\. L a otra probabilidad, P{Xk — 0 |C — q,) v iene dada por el requisito de normalización P{Xk = 0\C = ci) = 1 - P{Xk = 1\C = c¿) = 1 - 91 U tilizando la suposición de independencia de las variables predictoras dada la clase, la p robabilidad de que una instancia pertenezca a una determinada clase es P ( X i = xu...,Xn = Xn\C = Ci) = J ] P{Xk = Xk\C = d) = HiOÍT'{^-OÍ)^'"" k=l (5-5) fc=l H ay que recordar que en cada término del producto anterior, Xk es cero o uno, por t anto, sólo uno de los dos factores contribuirá. Si x^ = 1 contribuirá el factor d'¡^ y si Xk — O c ontribuirá el factor 1 — ^ | . U tilizando la asunción estándar de que los datos son generados de forma idéntica e i ndependiente, la función de verosimilitud para el conjunto 2?i queda F , > , ( ( a : W , c W ) , . . . , ( . W , c W ) ) = Y[(f[{eÍf^{l-dÍ)'-^>) (5.6) d onde N^ e s el número de casos en que C = Ci T omando logaritmos se obtiene, log VT = f; ¿ 4 log(4) + E ¿ ( 1 - 4) log(l - ^i) ^. j=l k=l j=l (5.7) fc=l P ara k = 1,... ,n, d erivando respecto a d^. el logaritmo de la función de verosimilitud e i gualando a cero, d log VT>, ddl %^-y^—^ = 0 1=91 ,^,ei fr'.i-ei (5.8) P or lo que se llega al siguiente resultado ^^ xi P{Xk = l\C = CH)^eÍ^^¿^ (5.9) 5 .3. Interval Estimation naive-Bayes - l ENB 73 C on un desarrollo muy similar de estimación por máxima verosimilitud se obtiene TV- P{C = Ci) = -jf (5.10) E s t i m a c i ó n por intervalos de los p a r á m e t r o s e n l E N B C uando se tiene una variable dicotómica (o de Bernoulli) a m enudo interesa saber en qué proporción de casos, p, ocurre el éxito en la realización de un experimento. En este c aso, es posible realizar el cálculo del intervalo de confianza de p. S ean X i , X 2 , . . . ,XM ~~* Ber(p). L a manera más natural de estimar el parámetro p consiste en definir la suma de éstas -lo que proporciona una distribución Binomial-. X = X i + . .. + X M ^ H ( M , r í (5.11) y t omar como su estimador la variable aleatoria Es decir, se toma como estimación de p la proporción de éxitos obtenidos en las M pruebas. La distribución del número de éxitos es binomial, y puede ser aproximada a la normal c uando el tamaño de muestra M es grande, y p n o es una cantidad muy cercana a c ero o u no. E s decir, X-^ B{M,p)^X ^AÍ{Mp,Mp{l-p)) (5.13) E l estimador p n o es más que un cambio de escala de X, p or tanto, ^~^ Jpjl-Í -A -•?^Ar(0,l) (5.14) A l ser p d esconocido, esta expresión presenta dificultad...
View Full Document

Ask a homework question - tutors are online