EC 7 - Escuela de Post Grado: Maestría en Estadística...

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Escuela de Post Grado: Maestría en Estadística Aplicada Estadística Computacional Mg Sc Jaime Porras Cerrón Contenido Capítulo III: Validación Cruzada Introducción. La estimación del error de predicción. La tasa de mala clasificación. La muestra de entrenamiento y la muestra de prueba. Métodos para estimar el error de predicción: PRESS, Validación Cruzada, Validación Cruzada Generalizada. Métodos para estimar el error de predicción con bootstrapping: Simple, Refinado y 0.632. Introducción El funcionamiento generalizado de un método de aprendizaje describe su capacidad de predicción de nuevos datos, es decir mide el poder predictivo del método. Tener una estimación de este poder predictivo es muy importante para comparar diferentes métodos o modelos. Validación Cruzada (VC) es un método muy general para obtener tal estimación. Así, también VC sirve para la selección del mejor modelo o método. Introducción Uno de los mayores usos de los modelos lineales generalizados es para predecir sobre valores de la variable respuesta para nuevos valores de las variables predictoras. Por lo tanto, existe la necesidad de cuantificar la confiabilidad de dichas predicciones. La confiabilidad puede obtenerse mediante el error de predicción que es definido por: 2 PE = E (y − y) En la expresión anterior el esperado es tomado sobre todas las muestras posibles que provienen de la población de donde procede la muestra original. La estimación del error de predicción Una manera sencilla de la estimación del PE es mediante el R2 (coeficiente de determinación). Otro criterio más simple (basado en la suma de cuadrados residual) es el error de predicción aparente (APE), que es definido por: APE = SCE n La mayor crítica que se le hace al R2 y al APE es que son cantidades que usan los mismos datos, que fueron utilizados para construir el modelo y por lo tanto subestiman el verdadero error, es decir son muy optimistas. La estimación del error de predicción Los criterios de estimación del error se deberían aplicar en un nuevo conjunto de datos distinto al que se uso para construir el modelo. Sin embargo algunas veces es difícil conseguir una muestra de prueba y es mejor pensar en otros criterios para validar el modelos usando los datos procedentes de la muestra original. La Tasa de Mala Clasificación La tasa de clasificación errada R(d) es la probabilidad de que la regla de clasificación (o simplemente el clasificador) clasifique mal una observación proveniente de una muestra obtenida posteriormente a la muestra usada para establecer el clasificador. También es llamada error verdadero o error actual (eC) R (d ) = # de casos mal clasificados # total de casos es el equivalente al APE. La muestra de entrenamiento y la muestra de prueba Muestra de Entrenamiento (Training data): Es la parte de la muestra que es utilizada para construir el modelo. Muestra de Prueba (Test data): Es la parte de la muestra que es utilizada para validar el modelo construido con la muestra de entrenamiento. El PRESS (Allen, 1974) Es el primer criterio de para estimar el error de predicción basado en el método de dejar uno afuera (similar al Jackknife). Es decir, se deja una observación afuera, se construye el modelo con las n-1 observaciones restantes y luego se cuantifica el error de predicción de la observación que se dejo afuera. El proceso se repite con cada una de las observaciones y luego se promedia los errores cuadráticos. n PRESS = ∑ e(2i ) i =1 Validación Cruzada (Stone, 1974) La idea aquí es estimar el error de predicción dividiendo al azar el conjunto de datos en K partes aproximadamente iguales. En cada paso una de las partes se convierte en una muestra de prueba y las K-1 partes restantes constituyen la muestra de entrenamiento. Por lo general se usan K=10 partes y es llamado “10 fold cross validation”. Si K=n en este caso se conoce como “leave one out”, es decir es el PRESS. El cálculo del error por validación cruzada usando K partes es dado por: K N ( −i ) 2 ∑∑ ( y i ECV = i =1 j =1 j n − yj ) Sobre el número de particiones (K) Con un gran número de particiones El sesgo del verdadero error de predicción podría ser pequeño (lo que implica una estimación más exacta). La variancia del verdadero error de predicción podría ser grande. El costo computacional podría ser alto. Con un pequeño número de particiones El sesgo del verdadero error de predicción podría ser grande. La variancia del verdadero error de predicción podría ser pequeña. El costo computacional podría ser bajo. En la práctica el número de particiones depende del tamaño del conjunto de datos. Aplicación Los errores medios de estimación para el conjunto de datos millaje para 30 repeticiones se presentan a continuación: K 2 5 10 20 EVC 16.871 15.672 14.954 14.742 Validación Cruzada Generalizada (Golub, Heath y Whaba, 1979) El cálculo de Validación Cruzada “leave one out” es computacionalmente pesado, en 1979 la Validación Cruzada Generalizada (VCG) es una aproximación al error por “leave one out”, el cual puede ser calculado más rápidamente y es n 2 definido por: −1 n VCG = ∑ i =1 (y i − yi ⎡1 − n − 1 t r ( H ⎣ p ) )⎤ ⎦ 2 Hp: Es la matriz HAT para el modelo que incluye p variables. Funciones en R para Validación Cruzada En R existen las funciones: cv.glm de la librería boot crossval de la librería bootstrap crossval de la librería dprep que realizan la validación cruzada. La estimación del error de predicción con bootstrap 1. Hay 3 maneras de aplicar bootstrap para estimar el error de predicción: Bootrapping simple: En este caso de la muestra original se extraen B muestras bootstrap y en cada una de ellas se ajusta el modelo. Para cada uno de los modelos obtenidos se cuantifica el error de predicción APE usando la muestra original como muestra de prueba. El promedio de todos estos errores es la estimación del error de predicción por bootstrapping. La estimación del error de predicción con bootstrap 2. Bootrapping refinado: La idea aquí es corregir la estimación del APE, mediante la estimación de su optimismo (sesgo) usando bootstrap. Se supone que primero se ha calculado el APE con la muestra original. En forma similar al método anterior se extraen B muestras bootstrap de la muestra original y en cada una de ellas se ajusta el modelo. Pero ahora se calculan dos errores de predicción APE1 (usando la muestra original como la muestra de prueba) y APE2 (usando la misma muestra bootstrap como muestra de prueba). Finalmente, la estimación del verdadero error de predicción es: APE+APE1-APE2 Aplicación Los errores de estimación con bootstrap para el conjunto de datos millaje se presentan a continuación: B 10 50 100 1000 Simple 13.867 13.698 13.782 13.638 Refinado 15.047 14.695 15.018 14.485 La estimación del error de predicción con bootstrap (Efron,1983) 3. El estimador bootstrap 0.632: Es una combinación lineal del aparente y de otro error estimado mediante bootstrap (e0). De tal forma que: e0.632=0.368APE + 0.632e0 0.632≅1-e-1, es aproximadamente la probabilidad de que una observación dada salga en una muestra bootstrap. 1 1 e = ∑ ∑ (y − y ) n B donde Ci es el conjunto de todas las muestras bootstrap que no contienen a la i-ésima observación. n 0 i =1 2 i b∈C i i i ...
View Full Document

Ask a homework question - tutors are online