CART (1) - rboles de decisin CART Clasification and...

Info iconThis preview shows pages 1–8. Sign up to view the full content.

View Full Document Right Arrow Icon
Árboles de decisión CART – Clasification and Regression Tree FRANCISCO CISTERNAS FABIÁN MEDEL Departamento de Ingeniería Industrial Universidad de Chile
Background image of page 1

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Clase de hoy 1. Refresco de árboles ± Indicador de ganancia 2. Sólo CART ± Construcción del Árboles ± Poda Costo-Eficiencia ± Árboles de Regresión ± Árboles de Clasificación ± Gini ± Twoin
Background image of page 2
Inducción de Árboles de Decisión Top-Down 1. El loop es el siguiente: ± Vemos Cual es el mejor atributo en el nodo actual para dividir el problema, llamémoslo A . ± Asignamos A como atributo de decisión para el nodo. ± Para los distintos valores de A , creamos un nuevo nodo hijo o descendiente. ± Ordenamos los datos de entrenamiento conforme a la partición generada por cada hijo. ± Si los datos de entrenamiento quedan perfectamente clasificados en el nodo, entonces nos detenemos. Si no seguimos iterando en los otros nodos hijos. ¿Pero cual de los atributos es el mejor para poner en el nodo?
Background image of page 3

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Entropía “baja Entropía”: el atributo es uniforme “Alta Entropía”: el atributo es variado e interesante •S es un conjunto de muestras de entrenamiento p ( + ): es la proporción de ejemplos positivos en S p (-): es la proporción de ejemplos negativos en S • La Entropía mide la “impureza” de S .
Background image of page 4
Entropía 1. Entropia ( S ) = número esperado de bits necesarios para codificar la clase de una muestra aleatoria de S. 2. ¿Por Qué? ± Teoría de Información dice: para un mensaje que tiene una probabilidad p el largo óptimo del código asignado debe ser –log2 p bits 3. Entonces el número esperado para codificar en (+) o (-) un miembro aleatorio de S es:
Background image of page 5

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Entropía condicional a un ejemplo
Background image of page 6
Ganancia de Información 1. Gain ( S | A ) = reducción de entropía debido a que se condiciona según el atributo A
Background image of page 7

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
Image of page 8
This is the end of the preview. Sign up to access the rest of the document.

This note was uploaded on 02/01/2012 for the course . . taught by Professor . during the Spring '11 term at Pontificia Universidad Católica de Chile.

Page1 / 34

CART (1) - rboles de decisin CART Clasification and...

This preview shows document pages 1 - 8. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online