t6bayesianos - Tema 6. Clasificadores Bayesianos Pedro...

Info iconThis preview shows pages 1–3. Sign up to view the full content.

View Full Document Right Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Tema 6. Clasificadores Bayesianos Pedro Larranaga, Inaki Inza, Abdelmalik Moujahid Departamento de Ciencias de la Computaci on e Inteligencia Artificial Universidad del Pa s VascoEuskal Herriko Unibertsitatea 6.1 Introducci on Tal y como hemos visto en temas anteriores, el problema de clasificaci on super- visada consiste en asignar un vector x = ( x 1 , . . . , x n ) R n a una de las r clases de la variable C . La clase verdadera se denota por c y toma valores en { 1 , 2 , . . . , r } . Se puede contemplar el clasificador como una funci on que asigna etiquetas a observa- ciones. Es decir: : ( x 1 , . . . , x n ) { 1 , 2 , . . . , r } Existe una matriz de costo cos ( r, s ) con r, s = 1 , . . . , r en la cual se refleja el costo asociado a las clasificaciones incorrectas. En concreto cos ( r, s ) indica el costo de clasificar un elemento de la clase r como de la clase s . En el caso especial de la funci on de p erdida / 1, se tiene: c ( r, s ) = 1 si r 6 = s si r = s Subyacente a las observaciones suponemos la existencia de una distribuci on de probabilidad conjunta: p ( x 1 , . . . , x n , c ) = p ( c | x 1 , . . . , x n ) p ( x 1 , . . . , x n ) = p ( x 1 , . . . , x n | c ) p ( c ) la cual es desconocida. El objetivo es construir un clasificador que minimiza el coste total de los errores cometidos, y esto se consigue (Duda y Hart, 1973) por medio del clasificador de Bayes : ( x ) = arg m n k r X c =1 cos ( k, c ) p ( c | x 1 , . . . , x n ) En el caso de que la funci on de p erdida sea la 0 / 1, el clasificador de Bayes se convierte en asignar al ejemplo x = ( x 1 , . . . , x n ) la clase con mayor probabilidad a posteriori . Es decir: ( x ) = arg m ax c p ( c | x 1 , . . . , x n ) En la pr actica la funci on de distribuci on conjunta p ( x 1 , . . . , x n , c ) es desconocida, y puede ser estimada a partir de una muestra aleatoria simple ( x (1) , c (1) ) , . . . , ( x ( N ) , c ( N ) ) extraida de dicha funci on de distribuci on conjunta. 6.2 Na ve Bayes El paradigma clasificatorio en el que se utiliza el teorema de Bayes en conjunci on con la hip otesis de independencia condicional de las variables predictoras dada la 1 clase se conoce bajo diversos nombres que incluyen los de idiota Bayes (Ohmann y col. 1988), na ve Bayes (Kononenko, 1990), simple Bayes (Gammerman y Thatcher, 1991) y Bayes independiente (Todd y Stamper, 1994). A pesar de tener una larga tradici on en la comunidad de reconocimiento de pa- trones (Duda y Hart, 1973) el clasificador na ve Bayes aparece por primera vez en la literatura del aprendizaje autom atico a finales de los ochenta (Cestnik y col. (1987)) con el objetivo de comparar su capacidad predictiva con la de m etodos m as sofisti- cados. De manera gradual los investigadores de esta comunidad de aprendizaje au- tom atico se han dado cuenta de su potencialidad y robustez en problemas de clasifi- caci on supervisada....
View Full Document

Page1 / 17

t6bayesianos - Tema 6. Clasificadores Bayesianos Pedro...

This preview shows document pages 1 - 3. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online