EC 9 - Escuela de Post Grado: Maestría en Estadística...

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Escuela de Post Grado: Maestría en Estadística Aplicada Estadística Computacional Mg Sc Jaime Porras Cerrón Contenido Capítulo V: Estimación de Densidad por Kernel Introducción. Histogramas Reglas para la cantidad de intervalos Reglas para la longitud de intervalos Estimación por Kernel de una función de densidad univariada Los Kernels mas usados El rol del ancho de banda h. La elección de h Estimación por Kernel de una función de densidad multivariada Los Kernels mas usados Elección de h Introducción Sea X1,…,Xn una m.a. que proviene de una variable aleatoria univariada X 1 ,..., X n i.i.d . ~ F , donde F denota una función de distribución acumulativa desconocida. El objetivo es estimar la distribución F. En lugar de asumir un modelo paramétrico para la distribución (como la distribución normal con media y variancia desconocida), se desea ser lo “más general posible” es decir, asumir que la densidad existe y es convenientemente suave. Si eso sucede es posible estimar la función de densidad desconocida . Histogramas El histograma es el más antiguo y popular de los estimadores de densidad. Se necesita especificar un “origen” y el ancho de clase h para la especificación de los intervalos. I j = ⎡ x0 + ( j − 1) h; x0 + j ⋅ h ) j = 1, 2,..., K ⎣ K: Es el número de intervalos y x0 es el origen En el histograma se cuenta el número de observaciones que caen en cada I j ; entonces se gráfica el histograma de tal manera que el área de cada barra sea proporcional al número de observaciones que caen en la correspondiente clase (intervalo I j ). La elección del origen x0 es arbitrario, el rol del ancho de clase es importante. Histogramas Si el ancho de los intervalos es muy pequeño el histograma resultante es muy irregular; si es muy grande la forma está sobresuavizada. La elección del ancho de los intervalos, o la determinación de la cantidad de los mismos, es generalmente realizada en forma subjetiva en un intento de obtener un balance entre un histograma muy irregular y uno muy suavizado. Histogramas Reglas para la cantidad de intervalos Las reglas proponen que se tome la parte entera de: i) K1=10 log10 n , Dixon y Kronmal(1965) ii) K2=2 n1/2 , Velleman (1976) iii) K3=1 + log2 n , Sturges (1926). Histogramas Reglas para la longitud del intervalo Por la regla de Sturges la longitud resulta h1=rango(datos) / ( 1 + log2 n) Los valores atípicos, outliers, pueden agrandar dramáticamente el rango y así aumentar el tamaño de los intervalos. Otras dos propuestas son: i) h = 3.49 sn Scott (1979) ii) h = 2( Q − Q ) n Freedman & Diaconis (1981) −1 3 2 −1 3 3 3 1 Estimación por Kernel de una función de densidad univariada Similar al el histograma, se calcula la frecuencia relativa de observaciones que caen en una pequeña región. La función de densidad f ( i ) en un punto puede ser representado por: 1 f ( x ) = lim Ρ [ x − h < X ≤ x + h ] h →0 2h El estimador es construido sin tomar el límite en la expresión anterior y reemplazando probabilidades por frecuencias relativas 1 # {i; X i ∈ ( x − h, x + h )} f ( x) = 2hn Estimación por Kernel de una función de densidad univariada Este estimador es solo una constante por partes desde que cada X i se encuentra dentro o fuera del el intervalo ( x − h; x + h ). Para los histogramas también se necesitan especificar el ancho de banda h, pero en contraste al el histograma, no se necesita especificar un origen x0. La expresión anterior puede también representarse por: f (x) = 1 nh n ⎛ x − Xi ⎞ ⎟ h ⎠ ∑K⎜ ⎝ i =1 Estimación por Kernel de una función de densidad univariada Donde la función pero K es definida por: ⎧ ⎪1 2 K ( z) = ⎨ ⎪0 ⎩ z ≤1 z >1 Este es llamado el Kernel uniforme y h el ancho de banda, que es un parámetro de suavización el cual indica cuanto contribuye cada punto muestral al estimado en el punto x. Estimación por Kernel de una función de densidad univariada En general, K y h deben satisfacer ciertas condiciones de regularidad, tales como: ∞ −∞ K ( z ) dz = 1 K(z) debe ser acotado y absolutamente integrable en (-∞,∞) lim h( n ) = 0 n→∞ Usualmente, pero no siempre, K(z)≥0 y simétrico, luego cualquier función de densidad simétrica puede usarse como Kernel. Los Kernels más usados 1. Kernel Rectangular o Uniforme ⎧1 2 ⎪ K ( z) = ⎨ ⎪0 ⎩ z ≤1 z >1 En este caso cualquier punto en el intervalo (xh; x+h) contribuye 1/2nh al estimado de f(x) en el punto x, y cualquier punto fuera de ese intervalo no contribuye en nada. 2. Kernel Gaussiano 1 1 exp( − z 2 ) 2 2π En este caso el kernel representa una función peso más suave donde todos los puntos contribuyen al estimado de f(x) en x. K ( z) = Los Kernels mas usados 3. Kernel Triangular ⎧ ⎪1 − z K ( z) = ⎨ ⎪0 ⎩ 4. z <1 z ≥1 Kernel Biweight ⎧ 15 2 2 ⎪ (1 − z ) K ( z ) = ⎨ 16 ⎪0 ⎩ z <1 z ≥1 Los Kernels más usados 5. 6. Kernel Epanechnikov ⎧ 3 ⎛ z2 ⎞ ⎪ ⎜1 − ⎟ 5⎠ K (z) = ⎨4 5 ⎝ ⎪ ⎩0 Kernel Coseno ⎧π ⎛π ⎞ ⎪ cos ⎜ z ⎟ 4 K (z) = ⎨ ⎝2 ⎠ ⎪0 ⎩ z < 5 z ≥ 5 z <1 z ≥1 La función density permite obtener la estimación de densidad por los diferentes Kernels presentados. El rol del ancho de banda h Si h es muy pequeño entonces el estimador kernel degenera en una colección de n picos cada uno de ellos localizado en cada punto muestral. Si h es demasiado grande entonces el estimado se sobresuaviza y se obtiene casi una distribucion uniforme. El valor de h también depende del tamaño de la muestra, con muestras pequeñas se debe escoger un h grande y con muestras grandes se puede escoger un h pequeño. La elección de h a) h= rango ( X ) 2(1 + log 2 n) σ b) h = 1.06min(ˆ , R /1.34)n donde σ es la desviación estándar estimada del conjunto de datos y R representa el rango intercuartílico, las constantes provienen de asumir que la densidad desconocida es Normal y un kernel gausiano. c) h = 1.144σn −1 / 5 ˆ −1/ 5 La elección de h d) e) f) Otros métodos mas sofisticados son: El método de Sheather y Jones (1991) que propone estimar la curvatura usando también el método del kernel, pero con un ancho de banda g distinto al que se usa para estimar la densidad. En R existe la función width.SJ de la librería MASS o la función hsj de la librería sm Usando validación cruzada, propiamente dejando uno afuera. Aqui el h es considerado como un parámetro que debe ser estimado. En R existe la función ucv, bcv de la librería MASS o la función hcv de libreria sm Aplicando bootstrapping Cao, Cuevas y Gonzalez (1994) hacen una comparación de varios metodos de elegir el ancho de banda h y llegan a la conclusión de que sin considerar el "boostrapping", el método d es el de mejor rendimiento. Estimación por kernels de una función de densidad multivariada El método de kernels fue extendido a distribuciones multivariadas por Cacoullos (1966). En este caso X1, X2,…. Xn es una muestra de vectores aleatorios distribuidos con una densidad f(x) en un espacio de dimensión d. El estimador de la función de densidad usando un kernel multivariado K y con ancho de banda h será: x − Xi 1 n ˆ f (x) = d ∑ K ( ) h nh i =1 La función Kernel K, definida para un vector X de dimension d, debe satisfacer: ∫ K (x)dx = 1 Rd Estimación por kernels de una función de densidad multivariada Fukunaga (1972) sugirió incluir el efecto de la matriz de covarianza en la estimación de densidad y propuso la siguiente modificación ˆ f (x) = 1 d nh | S |1/ 2 n ∑ K( i =1 (x − X i )' S −1 (x − X i ) ) h2 donde S es una estimación de la matriz de covarianza. Kernels más usados 1. Kernel Gaussiano 2. Kernel Biweight 1 K ( x) = (2π )− d / 2 exp(− x ' x) 2 ⎧3π −1 (1 − x ' x ) ⎪ K ( x) = ⎨ ⎪0 ⎩ 3. 2 x'x <1 otro caso Kernel Triweight ⎧4π −1 (1 − x ' x )3 ⎪ K ( x) = ⎨ ⎪0 ⎩ x'x <1 otro caso ...
View Full Document

Ask a homework question - tutors are online