t6bayesianos - Tema 6 Clasificadores Bayesianos Pedro...

Info iconThis preview shows pages 1–3. Sign up to view the full content.

View Full Document Right Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Tema 6. Clasificadores Bayesianos Pedro Larra˜naga, I˜naki Inza, Abdelmalik Moujahid Departamento de Ciencias de la Computaci´ on e Inteligencia Artificial Universidad del Pa´ ıs Vasco–Euskal Herriko Unibertsitatea 6.1 Introducci´ on Tal y como hemos visto en temas anteriores, el problema de clasificaci´ on super- visada consiste en asignar un vector x = ( x 1 , . . . , x n ) ∈ R n a una de las r clases de la variable C . La clase verdadera se denota por c y toma valores en { 1 , 2 , . . . , r } . Se puede contemplar el clasificador como una funci´ on γ que asigna etiquetas a observa- ciones. Es decir: γ : ( x 1 , . . . , x n ) → { 1 , 2 , . . . , r } Existe una matriz de costo cos ( r, s ) con r, s = 1 , . . . , r en la cual se refleja el costo asociado a las clasificaciones incorrectas. En concreto cos ( r, s ) indica el costo de clasificar un elemento de la clase r como de la clase s . En el caso especial de la funci´ on de p´ erdida / 1, se tiene: c ( r, s ) = 1 si r 6 = s si r = s Subyacente a las observaciones suponemos la existencia de una distribuci´ on de probabilidad conjunta: p ( x 1 , . . . , x n , c ) = p ( c | x 1 , . . . , x n ) p ( x 1 , . . . , x n ) = p ( x 1 , . . . , x n | c ) p ( c ) la cual es desconocida. El objetivo es construir un clasificador que minimiza el coste total de los errores cometidos, y esto se consigue (Duda y Hart, 1973) por medio del clasificador de Bayes : γ ( x ) = arg m´ ın k r X c =1 cos ( k, c ) p ( c | x 1 , . . . , x n ) En el caso de que la funci´ on de p´ erdida sea la 0 / 1, el clasificador de Bayes se convierte en asignar al ejemplo x = ( x 1 , . . . , x n ) la clase con mayor probabilidad a posteriori . Es decir: γ ( x ) = arg m´ ax c p ( c | x 1 , . . . , x n ) En la pr´ actica la funci´ on de distribuci´ on conjunta p ( x 1 , . . . , x n , c ) es desconocida, y puede ser estimada a partir de una muestra aleatoria simple ( x (1) , c (1) ) , . . . , ( x ( N ) , c ( N ) ) extraida de dicha funci´ on de distribuci´ on conjunta. 6.2 Na¨ ıve Bayes El paradigma clasificatorio en el que se utiliza el teorema de Bayes en conjunci´ on con la hip´ otesis de independencia condicional de las variables predictoras dada la 1 clase se conoce bajo diversos nombres que incluyen los de idiota Bayes (Ohmann y col. 1988), na¨ ıve Bayes (Kononenko, 1990), simple Bayes (Gammerman y Thatcher, 1991) y Bayes independiente (Todd y Stamper, 1994). A pesar de tener una larga tradici´ on en la comunidad de reconocimiento de pa- trones (Duda y Hart, 1973) el clasificador na¨ ıve Bayes aparece por primera vez en la literatura del aprendizaje autom´ atico a finales de los ochenta (Cestnik y col. (1987)) con el objetivo de comparar su capacidad predictiva con la de m´ etodos m´ as sofisti- cados. De manera gradual los investigadores de esta comunidad de aprendizaje au- tom´ atico se han dado cuenta de su potencialidad y robustez en problemas de clasifi- caci´ on supervisada....
View Full Document

This note was uploaded on 07/09/2009 for the course FIECS EC314 taught by Professor Ciriloalvarez during the Spring '09 term at Peru State.

Page1 / 17

t6bayesianos - Tema 6 Clasificadores Bayesianos Pedro...

This preview shows document pages 1 - 3. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online