10200313

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: a instancia que ha sido llevada a la validación. E n s tratified cross-validation, los subconjuntos son estratificados, de tal forma que c ontienen aproximadamente la misma proporción de casos respecto a las clases que el c onjunto de datos original. Este método ha sido utiHzado en múltiples ocasiones. De esta f orma, la estratificación, especialmente para regresión, es el método idóneo para seleccionar el tamaño de árbol ideal [BFOS84] y es también la utilizada en los algoritmos CART y C 4.5. Bootstrapping E l método de bootstraping es quizás el de más difícil comprensión. En un conjunto de casos de cardinalidad N s e escoge una muestra aleatoria con reemplazamiento del mismo tamaño que el conjunto de entrenamiento, dejando los casos no seleccionados como c onjunto de validación. Ya que las instancias son escogidas aleatoriamente con reemplazamiento, la probabilidad de que una instancia cualquiera no sea escogida tras N m uestras es (1 — j ^ ) ^ « e~^ w 0,368, y el número esperado de instancias diferentes en la muestra se aproxima por medio de 0,632A''. De esta forma, denotando por a l a tasa de error en el conjunto de validación y, si se realizaran b p rocesos de selección de N m uestras aleatorias con reemplazamiento en cada una de ellas, la estimación de la tasa de error real del bootstrapping e s. 1^ accboot = -^ 5Z(*^'6^2 • ^i + 0 '^^^ • "'='=*)' (2.4) ¿=l d onde accs es la precisión estimada del conjunto de datos calculada con la estimación d e la resustitución. 2.3.3. Á r e a b a j o la c u r v a R O C E valuación d e clasificadores E n muchas ocasiones se tiene la necesidad de evaluar si un clasificador supervisado es m ejor que otro. Una posible comparación que se puede realizar es que el clasificador que m ejor tanto por ciento de bien clasificados tenga es el mejor clasificador. Sin embargo, hay un enfoque más formal, basado en el cálculo del área bajo la curva 24 Clasificación Supervisada Basada en RRBB. Aplicación en Biología Computacional R OC del clasificador. Cuanto mayor sea el área bajo la curva ROC, mejor será el clasiñcador. L as c u r v a s R O C E n esta sección se definen las curvas ROC. La definición dada se centra en los casos e n los que sólo hay dos posibles valores de clase a clasificar. Sin embargo, las curvas ROC s on extensibles para cualquier número de clases. E l análisis ROC {Receiver Operating Characteristic) es una metodología desarrollada e n el seno de la Teoría de la Decisión e n los años 50, y cuya primera aplicación fue motivada por problemas prácticos en la detección de señales por radar. Con el tiempo se comenzó a u tilizar en el área de la biomedicina [SP82], inicialmente en radiología. P ara centrar ideas se escoge, por ejemplo, un conjunto de datos en el que cada individuo d e una población se clasifica como demócrata o repubficano. Se supone que la variable de d ecisión, que representa el resultado de la clasificación realizada, se distribuye normalmente, con media y desviación típica conocidas. En la figura 2.2 se pueden ver las funciones de d ensidad para ambas clases, las cuales muestran un determinado nivel de solapamiento. Si c onsideramos un valor arbitrario del resultado de la clasificación, x - e n adelante valor de c orte-, la sensibilidad y 1 — especificidad se corresponderán respectivamente con el área a l a derecha de ese punto bajo la función de densidad de la población demócrata (áreas c lara y oscura) y de la población republicana (área oscura). La curva ROC se obtiene r epresentando, para cada posible elección del valor de corte, la 1 — especificidad e n el eje a; y la sensibilidad e n el eje y. ' \ republicanos 1 Valores de corte /T X \ , ciiMnn-'.itns 1 1— 1-especificidad F igura 2.2: Funciones de densidad de probabilidad para las poblaciones de demócratas y de republicanos 2 .3. V alidación 25 M ediante esta representación de los pares (1-especificidad, sensibilidad) obtenidos al c onsiderar todos los posibles valores de corte de la prueba, la curva ROC proporciona una r epresentación global de la exactitud (véase figura 2.3). La curva ROC es necesariamente c reciente, propiedad que refleja el compromiso existente entre la sensibilidad y la especificidad: el modificar el valor de corte para obtener mayor sensibilidad, sólo se puede hacer a e xpensas de disminuir al mismo tiempo la especificidad. Si la prueba no permitiera discriminar entre clases, la curva ROC sería la diagonal que une los vértices inferior izquierdo y s uperior derecho. La exactitud de la prueba aumenta a medida que la curva se desplaza d esde la diagonal hacia el vértice superior izquierdo. Si la discriminación fuera perfecta ( 100% d e sensibilidad y 100% de especificidad) la curva pasaría por dicho punto. Obviamente, el escenario en que se ha presentado la curva ROC es completamente t eórico, por dos razones relacionadas entre sí: • E n la práctica no se dispone de la población de gente demócrata y republicana, sino s...
View Full Document

This note was uploaded on 02/01/2012 for the course . . taught by Professor . during the Spring '11 term at Pontificia Universidad Católica de Chile.

Ask a homework question - tutors are online