Al igual que el algoritmo fssj el algoritmo bsej

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: selección de variables. E l enfoque Selective Bayesian Classifier [LS94] tiene como objetivo la modificación del clasificador naive-Bayes para mejorar su exactitud en dominios con atributos redundantes. D e esta forma, presenta un algoritmo voraz hacia delante que en cada iteración selecciona, d e entre los atributos que todavía no han sido considerados, aquel cuya inclusión produzca u na mejor ganancia. El algoritmo finaliza cuando la inclusión de cualquier atributo reduce l a exactitud obtenida hasta ese momento. En esta búsqueda cada posible candidato se e valúa a través del tanto por ciento de bien clasificados con la técnica de validación leaveone-out. C uando se está realizando una selección de variables se pueden utilizar dos enfoques d iferentes: filter y wrapper [ KJ97]. En el enfoque filter los atributos se seleccionan en base a p ropiedades intrínsecas de los datos y de forma totalmente independiente al algoritmo de i nducción. En el enfoque wrapper l a selección de variables se realiza utilizando el algoritmo d e inducción como si fuera una caja negra. Por tanto, durante la selección se realiza una b úsqueda en la que el clasificador se utiliza como parte de la función de evaluación. En el c itado trabajo se demuestra experimentalmente que el enfoque wrapper r ealizado a través d e una búsqueda voraz es mejor que el enfoque filter q ue realiza el algoritmo Relief [Kon94] p ara la selección de variables. P or último, en relación a la selección de variables, también es posible realizar búsquedas heurísticas de tipo wrapper d el mejor conjunto de variables. En este sentido se han u tilizado tanto algoritmos genéticos [LLDOl] [ILESOO] como algoritmos de estimación de las distribuciones (EDAs) [ILESOO]. Clase Q^X, & Xj & Xj & / C ^ F igura 3.7: Ejemplo de particiones del conjunto de atributos con Pazzani O tro enfoque semi naive-Bayes que manipula las variables predictoras y que ha tenido b astante buena acogida es el presentado por Pazzani [PB97]. Véase figura 3.7 para una i lustración de posibles modelos obtenidos al aplicar dicho algoritmo. En este enfoque se c onstruye un modelo naive-Bayes a través de un algoritmo voraz capaz de detectar variables irrelevantes y variables dependientes entre sí. La idea central del algoritmo es que se pueden obtener clasificadores más exactos como resultado de la unión de grupos de a tributos correctos. De esta manera, cuando se detectan atributos dependientes se crea 3 .5. E nfoques semi na'íve-Bayes 45 u n nuevo atributo a partir del producto cartesiano de los mismos. El algoritmo está guiado por el tanto por ciento de bien clasificados obtenido por validaciones leave-one-out. E n el trabajo de Pazzani se proponen dos algoritmos voraces para la unión de atributos: FSSJ (Formará Sequential Selection and Joining), q ue realiza una búsqueda hacia delante y BSEJ (Backward Sequential Elimination and Joining), q ue realiza una búsqueda hacia a trás. E l algoritmo voraz FSSJ inicializa el conjunto de atributos a ser utilizado en el clasificador como el conjunto vacío. Por tanto, todas las instancias se clasificarán como la c lase más frecuente. A continuación, se utilizan dos operadores para generar el siguiente clasificador: • A ñadir alguno de los atributos que no está en el clasificador actual como un nuevo a tributo condicionalmente independiente del resto de los atributos. • U nir alguno de los atributos que no está en el clasificador actual con los atributos d el clasificador. E n cada paso del algoritmo se consideran todas las inclusiones y todas las uniones d e los atributos no utilizados hasta ese momento, evaluando cada posible candidato con leave-one-out y t omando el que mejor resultado presente. El algoritmo finaliza cuando no se produce ninguna mejoría. E l algoritmo voraz BSEJ crea un clasificador inicial con todos los atributos como c ondicionalmente independientes. A la hora de generar el nuevo clasificador tiene en cuenta d os operadores: • R eemplazar cada par de atributos utilizados en el clasificador con un nuevo atributo q ue los una. • E liminar cada atributo utilizado en el clasificador. Al igual que el algoritmo FSSJ, el algoritmo BSEJ considera todas las posibles modificaciones del clasificador, las evalúa utilizando leave-one-out y t oma el mejor resultado p osible. El algoritmo finaliza cuando no se produce ninguna mejoría. 3 .5.2. E nfoques que corrigen las probabilidades producidas por na'íveBayes E n este apartado se analizan las principales variantes semi naíve-Bayes que de alguna f orma varían las probabilidades obtenidas por el clasificador naíve-Bayes. E l enfoque APNBC (Adjusted Probability naive-Bayesian Induction) [WP98] realiza u n ajuste lineal del peso de la probabilidad de cada clase. De esta forma, se asigna un f actor de ajuste a cada clase, y la probabihdad estimada para cada clase se multiplica por e ste factor. El ajuste lineal propuesto por los...
View Full Document

This note was uploaded on 02/01/2012 for the course . . taught by Professor . during the Spring '11 term at Pontificia Universidad Católica de Chile.

Ask a homework question - tutors are online