du Objectifs cours
Technologie: algorithmes d'apprentissage
1
pre-requis: algorithmique, structure de donnees, programmation, statis` tiques, algebre lineaire focaliser sur la classification
Philosophie: la theorie de l'apprentissage Applications: . . .
Apprentissage
Une caracteristique essentielle de l'intelligence naturelle Apprendre par coeur vs. l'apprentissage inductif Mot cle: GENERALISATION Situation d'apprentissage typique:
1 On nous donne des exemples (des donnees) 2 On nous presente un nouveau cas et il faut prendre une decision
2
Algorithmes "classiques" vs. d'apprentissage
Approche classique
description formelle des contraintes de l'entree et de la sortie souhaitee ` comprehension du probleme computationnel design d'une solution algorithmique basee sur ces connaissances
3
` Problemes
` Connaissances incompletes Algorithme trop couteux ^
Algorithmes "classiques" vs. d'apprentissage
Approche d'apprentissage
donnees (exemples) de forme (entree,sortie) ` comprehension partielle du probleme: connaissances a-priori apprendre: chercher dans un ensemble de fonctions
4
Categories d'apprentissage automatique
Classification
classifier le nouvel exemple
5
Regression
` faire une prediction a partir du nouvel exemple
Estimation de densite
` dire si le nouvel exemple ressemble aux exemples deja vus
` (Modeles graphiques)
Orientation
Intelligence artificielle: deux interpretations
intelligence non-organique ` ` ` systemes a base de regles
6
Champs relies
sciences cognitives statistiques theorie des probabilites optimisation traitement du signal, theorie de l'information
Orientation
Sources d'inspiration pour les algorithmes d'apprentissage
sciences cognitives/neurosciences "beaut mathematique" e solutions d'ingenierie
7
Exemple de classification
8
Separer deux types de poissons (saumon et bar) sur un tapis roulant
entree des donnees (camera) traitement d'image extraction des caracteristiques/traits (largeur, longueur, luminosite, etc.) design d'une fonction de classification: f : {vecteur des traits} {saumon, bar}
i Histogramme obtenu de l'ensemble d'entra^nement
erreur d'entra^nement i saumon
nombre
9
bar
22 20 18 16 12 10 8 6 4 2 0
longueur
5
10 l*
15
20
25
Une autre variable/trait
cout de la mauvaise classification ^
nombre
10
14 12 10 8 6 2 4 0 2
saumon
bar
4
x* 6
luminosit e
8
10
Deux variables
` vecteurs de traits, espace de traits, frontiere de decision
largeur
11
22 21 20 19 18 17 16 15 14
saumon
bar
luminosit e
2
4
6
8
10
Choix de fonction
surapprentissage (overfitting): classe de fonctions trop riche
largeur
22 21 20 19 18 17 16 15 14 2 4 6 8 10
12
saumon
bar
?
luminosit e
Choix de fonction
i equilibre entre l'erreur d'entra^nement et le complexite de decision dilemme biais-variance malediction de la dimensionnalite
13
Choix de fonction
capacite optimale
largeur
22 21 20 19 18 17
14
saumon
bar
nombre16 15
14 2 4 6 8 10
luminosit e
` Systemes de reconnaissance de formes
Detection Segmentation Extraction de traits Classification Post-traitement
15
Machine d'apprentissage
Formellement g(donnees, observation) classe
donnees d'entra^nement i donnees = (observation1, classe1), . . . , (observationn, classen)
16
algorithme de classification A LGO(donnees) f
fonction de decision/classification f (observation) classe
Machine d'apprentissage
Attributs des algorithmes
classe (parametrisee) de fonctions (lineaire, melange de noyaux, etc.) fonction d'objectif/cible/erreur (0 - 1, absolu, quadratique, etc.) methodes d'optimisation (descente de gradient, EM, optimisation quadratique, etc.)
17
Applications
Applications "traditionnelles": reconnaissance des formes
ecriture, parole, e...