2008
IFT6141 Meunier Reconnaissance des Formes Semaine #1
Professeur: Jean MEUNIER [e-mail] Bureau: 2163 D.I.R.O.
Au menu cette semaine!
Plan de cours Introduction la R. de formes Mthodes bayesiennes (Chap. 2) Estimation des paramtres (Chap. 3) Le problme de la dimensionalit (Chap. 3)
2
Meunier 2008
1
Meunier 2008
Plan du cours
Rfrence en rserve la bibliothque:
Duda, Hart, Stork, "Pattern Classification", 2e dition, Wiley-Interscience, 2001 Site web associ: http://rii.ricoh.com/~stork/DHS.html Nombreux autres ouvrages la bibliothque Notes de cours sur:
http://www.iro.umontreal.ca/~meunier/IFT6141/
Meunier 2008
3
Dfinition
Selon le grand dictionnaire terminologique de la langue franaise:
Branche de l'informatique qui tudie les techniques permettant un ordinateur d'identifier des formes des structures ou des configurations.
Comment?
En se basant sur certaines de leurs caractristiques.
Meunier 2008
4
2
Meunier 2008
Introduction la RF
Prtraitement:
IFT6150 Rehaussement et restauration de limage prise par la camra Segmentation
Extraction de caractristiques:
IFT6150 et IFT6410 Pour rduire le quantit de donnes (e.g. 1024 x 1024 x 8 bits) Proprits de lobjet qui serviront la classification
Classification:
IFT6141 Algorithme qui va valuer les vidences qui lui sont prsentes et prendra une dcision finale
Bar ou loup (de mer)
Meunier 2008
5 2001 John Wiley & Sons, Inc.
Applications de la RF
Robotique/industrie
Assemblage (reconnaissance de pices) Contrle de qualit (pices, fruits ou autres) Vhicule autonome etc. Mto (tempte, ouragan) Identification et suivi des cultures/forts/rserves deau Cartographie, analyse des ressources terrestres (ptrole) Pollution Analyse de lECG ou EEG pour fin de diagnostic Analyse dimages mdicales (tumeurs, cellules cancreuses) Identification de squences dADN Guidage de missile (reconnaissance dune cible et du terrain) Reconnaissance arienne (espionnage) Reconnaissance de texte par ordinateur (OCR) Analyse de document Reconnaissance de la parole Identification des empreintes digitales, iris, mains, signatures Reconnaissance de visage et de la parole Classification de signaux sismiques
Tldtection
Mdecine
Application militaire
Bureautique
Scurit
Meunier 2008
6
3
Meunier 2008
Plan du cours
Contenu:
Mthode de Bayes (Chap. 1 et 2), Estimation des paramtres (Chap. 3) Rduction de la dimensionnalit (chap. 3) Mthodes non-paramtriques (Chap. 4) Fonctions discriminantes linaires (Chap. 5) Rseaux de neurones (Chap. 6) Mthodes stochastiques (Chap. 7). Mthodes syntaxiques et structurelles (Chap. 8) Mthode non-supervises (Chap. 10) Remarques indpendantes de lalgorithme (Chap. 9) Attributs en traitement de signaux et dimages Applications en reconnaissance audio Applications en vision par ordinateur
7
Meunier 2008
Plan du cours
Horaire (dbutant le mardi 8 janvier):
Mardi 10h30 12h30 Z-345 Jeudi 10h30 12h30 Z-337 Thorie de la RdeF jusquau 14 fvrier Projet #1 (examen): nonc le 18 fvrier, date limite de remise: le 7 mars 22h00 par courriel (Note: Semaine de lecture (FAS): 3 mars 7 mars) Applications: du 11 au 27 mars Projet #2: date limite pour le rapport: le 11 avril 22h00 par courriel et prsentation les 15 et 17 avril
xx
xx xx
Meunier 2008 8
4
Meunier 2008
valuation
Examen-Projet #1: 40 % Travail impos raliser en 3 semaines. Application de la RdeF avec implmentation. Rapport crit (format libre) faire seul Projet #2: 60% (dont 20% pour un expos oral) Projet de RdeF raliser en 5 semaines. Application avec implmentation au choix. Rapport crit sous forme dun article format IEEE* double colonne (max 8 pages) Document powerpoint de 20 30 diapositives (prsentation orale de 30 minutes) faire seul
Remarques: - Donner toutes les rfrences (articles, livres et sites internets). Vous pouvez utiliser du code disponible sur Internet mais clairement mentionner les rfrences. Pas de rfrence = plagiat = 0. - Tous les autres lments du projet (donnes utilises, code source, code excutable, etc.) devront tre accessibles par Internet ou remis autrement (par ex: CD). *voir par exemple le site http://www.computerrobotvision.org/submit.html Article rdig en franais ou en anglais pour le cours. Meunier 2008 9
Introduction la RF
Prtraitement:
IFT6150 Rehaussement et restauration de limage prise par la camra Segmentation
Extraction de caractristiques:
IFT6150 et IFT6410 Pour rduire le quantit de donnes (e.g. 1024 x 1024 x 8 bits) Proprits de lobjet qui serviront la classification
Classification:
IFT6141 Algorithme qui va valuer les vidences qui lui sont prsentes et prendra une dcision finale
Bar ou loup (de mer)
Meunier 2008
10 2001 John Wiley & Sons, Inc.
5
Meunier 2008
Introduction la RF
Exemple de caractristiques: Longueur luminosit (environnement contrl)
http://www.gastromer.ch/fr/produits.htm
Meunier 2008
11 2001 John Wiley & Sons, Inc.
Introduction la RF
Peut-on amliorer les rsultats avec plus dune caractristique? Le seuil devient une droite ou une courbe (puis une surface) Si on ajoute dautres caractristiques est-ce quon peut encore amliorer? linfini? Pourquoi ne pas adopter un modle (courbe) plus complexe? Erreur = 0 sur lensemble dentranement Quelle sera lerreur pour de nouveaux tests (poissons)? Par cur vs. Gnralisation
12 2001 John Wiley & Sons, Inc.
Meunier 2008
6
Meunier 2008
RF: Mthode simpliste #1
2 classes
saumons: 1 bars: 2
Aucune mesure
Aucun prtraitement Aucune extraction de caractristiques
Classification:
Base sur les probabilits a priori P(i) Choisir 1 si P(1) > P(2) sinon 2
Erreur:
Min[P(1), P(2)]
Meunier 2008
13 2001 John Wiley & Sons, Inc.
RF: mthode simpliste #2
2 classes
saumons: 1 bars: 2
Extraction de caractristiques:
Une mesure x est faite
O classer?
Classification:
Base sur la vraisemblance ou densit de probabilit de x pour chacune des classe Choisir 1 si p(x|1) > p(x|2) sinon 2
Erreur:
Min[p(x|1), p(x|2)] / [p(x|1)+ p(x|2)] Quarrive-t-il si les saumons ne comptent que pour 1 poisson sur 10 dans les prises?
=1
i
Meunier 2008
14 2001 John Wiley & Sons, Inc.
7
Meunier 2008
Bayes
Un classificateur Bayesien tient compte des deux facteurs prcdents pour calculer la Probabilit a posteriori La probabilit jointe quune observation provienne dune classe i avec comme caractristique la valeur x est donne par:
p (i , x ) = P (i ) p ( x i ) = p ( x) P (i x)
Do le thorme de Bayes:
P (i x) =
P (i ) p ( x i ) p( x)
15
p( x ) = P (1 ) p( x 1 ) + P (2 ) p( x 2 )
Meunier 2008
Bayes
2 classes
saumons: 1 bars: 2
Extraction de caractristiques:
Une mesure x est faite
P(1)p(x|1)
Classification:
Base sur les probabilits a posteriori p(i|x) Calcules partir des vraisemblances p(x|i) et des probabilits a priori P(i) Choisir 1 si P(1| x) > P(2 | x) sinon 2 ou Choisir 1 si p(x|1)P(1) > p(x|2)P(2) sinon 2
P(2)p(x|2)
Erreur:
Min[P(1| x), P(2 | x)]
Meunier 2008
16 2001 John Wiley & Sons, Inc.
8
Meunier 2008
Compliquons un peu les choses: Notion de Risque
2 classes
saumons: 1 bars: 2
Classificateur erreur minimale?
0 ij = 1 i= j i j
Extraction de caractristiques:
Une mesure x est faite
Classification:
Base sur la minimisation du risque conditionnel dune classification Calcul partir des probabilits a posteriori Plus gnral R(1| x) = 11P(1| x) + 12P(2 | x) R(2| x) = 21P(1| x) + 22P(2 | x) Choisir 1 si R(1| x) < R(2| x) sinon 2
11 risque de classer 12 risque de classer 22 risque de classer 21 risque de classer un saumon dans la classe saumon (faible) un bar dans la classe saumon (lev) un bar dans la classe bar (faible) un saumon dans la classe bar (moyen)
Meunier 2008
Pour satisfaire le consommateur (diffrent si on veut simplement maximiser les revenus sans gard aux consommateurs)
17
Fonctions discriminantes
Fonctions gi(x) tel que: gi(x) > gj(x) j i si x i Par exemple:
P(i) p(x|i) P(i| x) p(x | i) P(i) -R(i| x) ln p(x | i) + ln P(i)
max
Meunier 2008
18 2001 John Wiley & Sons, Inc.
9
Meunier 2008
Modle pour p(x|)?
x devient un vecteur x plutt quun scalaire Quelle est la forme de p(x | i)? La distribution normale ou gaussienne est de loin le modle prfr Proprit mathmatique et statistique unique
Fourier (G) = G Transformation linaire (G) = G Projection (G) = G Simple
2 paramtres dans le cas 1-D d+d(d+1)/2 pour d dimensions
Thorme de la limite centrale
Somme dun grand nombre de variables alatoires indpendantes donne une distribution gaussienne
Donc idale pour modliser p(x | i)
Meunier 2008
( p( x) = 1 e 2 2
1
x 2 )
19 2001 John Wiley & Sons, Inc.
Normale ou gaussienne en d-D
p ( x) =
1 i ( 2 ) d
e
1 ( xi )T i1 ( x i ) 2
Transformation linaire (G) = G
Mahalanobis2
=cte
Meunier 2008
20 2001 John Wiley & Sons, Inc.
10
Meunier 2008
Fonctions discriminantes gaussiennes
Cas de 2 classes On peut tester 0.175 g(x) = g1(x) g2(x) 0.15 Si g(x) > 0 alors 1 0.125 0.1 sinon 2 0.075 g(x)=0 g1(x) = g2(x) 0.05 0.025 correspond la frontire de -2 dcision
Meunier 2008 g(x)=0 => x = seuil
p(x)
P(1)p(x|1)
P(2)p(x|2)
2
4
6
8
10
21
Frontires de dcision 1D
Si les valeurs de la caractristique x pour chaque classe 1 et 2 suivent une loi normale
1 x i 2 ( ) P ( i ) 1 g i ( x ) = ln [P ( i ) p ( x i ) ] = ln P ( i ) e 2 i = ln 2 i 2 i
x i + 1 2 i
2
La frontire de dcision est:
g ( x) = g1 ( x) g 2 ( x) = 0 P(1 ) ln 2 1
Meunier 2008
P (2 ) ln 2 2
1 x 1 1 x 2 2 + 2 =0 1 2
22
2
2
11
Meunier 2008
Frontires de dcision 1D
Cas Gnral: 2 solutions
P(i)
2 2
P(1 ) ln 2 1
P( 2 ) ln 2 2
1 x 1 1 x 2 2 + 2 =0 2 1
forme ax 2 + bx + c = 0
Meunier 2008
23 2001 John Wiley & Sons, Inc.
Frontires de dcision 1D
Cas 1 = 2 : 1 solution
0 = C + ( x 1 ) 2 ( x 2 ) 2 0 = C ' 2( 1 2 ) x x = C" = seuil unique
Cas avec en plus P(1)=P(2)
( x 1 ) 2 = ( x 2 ) 2 x= 1 + 2 2
24 2001 John Wiley & Sons, Inc.
Meunier 2008
12
Meunier 2008
Frontires de dcision: d-D
Si nous avons c classes et d caractristiques, nous pouvons reprsenter les moyennes des attributs de chaque classe i par un vecteur de moyenne
1 i = d
Meunier 2008
Les variances et covariances des caractristiques de chaque classe i sont reprsentes par une matrice de covariance 12 12 1d 2 12 2 2d i = 2 d 1d
Cette matrice est symtrique La variance de chaque attribut 25 est sur la diagonale
Frontires de dcision: d-D
La fonction discriminante a la forme
P(i ) p( x i ) = P(i ) | i | ( 2) d e
1 ( xi )T i1 ( xi ) 2
En prenant le logarithme et en multipliant par 2 nous obtenons
2ln P(i ) ln | i | d ln2 ( x i )T i1 ( x i )
Meunier 2008 26
13
Meunier 2008
Frontires de dcision: d-D
La frontire entre 2 classes i et j est dfinie par
2 ln P ( i ) ln | i | ( x i ) t i1 ( x i ) = 2 ln P ( j ) ln | j | ( x j ) t 1 ( x j ) j
Sachant que:
1 1 1 ( x i )t i1 ( x i ) = xt i x 2t i x + t i i i i
On obtient la forme:
Meunier 2008
x t Ax + b t x + c = 0
27
Frontires de dcision: d-D
g ( x ) = x t Ax + b t x + c = 0 A = 1 i1 j b = 2 1 j + 2 i1 i j c = 2 ln |j | P ( i ) + ln + Tj 1 j T i1 i j i P ( j ) | i |
Quadratique! Surfaces de dcision sont des hyperquadriques
hyperplans, paires dhyperplans, hypershres, hyperellipsodes, hyperparabolodes, hyperhyperbolodes
Meunier 2008
2-D
28
14
Meunier 2008
Cas particulier: i =
A=0 b t x + c = 0 Hyperplan b = 2 1 j + 2 1 i = 2 1 ( i j ) c = 2 ln P ( i ) + tj 1 j t 1 i i P( j )
Cas particulier: i = 2I
b = 22 ( i j ) Hyperplan au vecteur ij
c = 2 ln
P ( i ) 1 t t + i i P ( j ) 2 j j
Cas particulier: i = 2I et P(i) = P(j)
b= 2
2
( i j )
c=
i + j 2
2
1 t t j j i i
bt x + c = 0 x =
+ (i j )
Hyperplan au vecteur ij et situ juste entre les deux Meunier 2008
Sergios Theodoridis 2003
29
Exemple: Calcul de la frontire
g (x) = xt Ax + bt x + c = 0 A = 1 i1 j b = 2 1 j + 2 i1 i j c = 2 ln |j | P(i ) + ln P( j ) | i |
x2 = 3.514 1.125 x1 + 0.1875 x1
2
+ Tj 1 j T i1 i j i
Meunier 2008
2001 John Wiley & Sons, Inc.
30
15
Meunier 2008
Indpendance des caractristiques: Bayes Naf
La fonction discriminante a souvent la forme
P() p(x ) = P() | | (2 )d e
1 ( x)T 1 (x) 2
Indpendance
P ( ) p ( x ) = P( )
d
e
k
d 1 xk k 2 k =1 k
2
(2 )
Meunier 2008
d /2
k =1
31
Fonctions discriminantes pour plusieurs classes?
Entre deux classes la frontire est une hyperquadrique Toutefois les rgions et frontires dfinitives en tenant compte de toutes les classes sont beaucoup plus complexes gi(x) > gj(x) j i si x i On maximise la fonction discriminante
Meunier 2008
2001 John Wiley & Sons, Inc.
32
16
Meunier 2008
Probabilit derreurs?
2001 John Wiley & Sons, Inc.
P ( erreur ) = P ( 1 )
p(x
xR 2
1
) dx + P ( 2 )
p( x
xR1
2
) dx
Meunier 2008
33
Probabilit derreurs?
Erreur c pour classes est dduite de la probabilit dtre OK (+ simple calculer)
P (OK ) = P ( i )
i =1 c
p ( x )dx
i xRi c i =1 xRi
Des bornes faciles calculer existent
P (erreur ) = 1 P (OK ) = 1 P ( i ) = P ( i )
i =1
Meunier 2008
p ( x )dx
i
c
p ( x )dx
i xRi
Pour chaque , plusieurs rgions Rj Ri; difficile et long calculer 34
17
Meunier 2008
Au menu cette semaine!
Introduction la R. de formes Plan de cours Mthodes bayesiennes (Chap. 2) Estimation des paramtres (Chap. 3) Le problme de la dimensionalit
35
Meunier 2008
Estimation des paramtres?
Classifier = Choisir la + grande fonction discriminante. Les fonctions discriminantes font intervenir en gnral les probabilits a priori et les vraisemblances (Bayes)
g i ( x) P(i x) = P(i ) p (x i ) p ( x) P(i ) p (x i )
Les probabilits a priori ne sont en gnral pas trop compliques dterminer, par ex. partir dun chantillon D des poissons pchs on dtermine P(bar) et P(saumon) Quen est-il des vraisemblances? => Distribution statistiques des attributs. partir des donnes D?
Meunier 2008 36
18
Meunier 2008
Estimation par maximisation de la vraisemblance (ML)
On maximise pour chaque classe
n
Moyenne inconnue (variance connue ou fixe)
p ( X ) = p ( x k )
k =1
avec X = {x1 , x 2 ,..., x k ,..., x n } ou l () = ln ( p ( X ) ) = ln p ( x k )
k =1 n
On essaie de trouver la meilleure distribution
Solution:
tel que p(X) = 0 ou l = 0
Meunier 2008
37
Cas o p(xk|) est gaussien
p( x | ) =
1 ( x ) 2 1 e 22 1 2 2
1 ln p( x | ) = 1 ln 2 2 2 2 ( x 1 ) 2 2
1 n n ( xk 1 ) l = ln p( xk | ) = 1 2 1 2 = 0 + 2 2 ( xk 1 ) k =1 k =1 2 2 2
n 1 = = 1 xk
k =1
n
et
2 = 2 s 2 = 1 ( xk )2 n
k =1
n
Meunier 2008
38
19
Meunier 2008
Cas o p(xk|) est gaussien
Biais ML non-biais pour
1 1 1 E [ ] = E xi = E[xi ] = = n n n
ML est biais pour 2 car:
1 1 n 1 2 E s 2 = E ( xi ) 2 = . 2 = ( xi ) 2 n n n 1
[]
De mme pour d-D:
1n xk n k =1 n = 1 ( x k )( x k )t n k =1 n C = 1 ( x k )( x k )t n 1 k =1 =
Non biais si on utilisait dans la formule au lieu dun estim ML x qui contient xi dans sa somme... xx
2 = E[(x E[x])2 ]
Sinon cas n=1 donnerait = 0 au lieu de infini
Meunier 2008
39
Estimation avec maximum a posteriori (MAP)
On maximise
p(D| )
p ( X ) =
p () p ( X ) p ( X)
n
p () p ( X ) = p () p (x k )
k =1
Sergios Theodoridis 2003
On considre comme un vecteur alatoire MAP=ML lorsque p() est uniforme On doit connatre p() : information priori sur
Meunier 2008 40
20
Meunier 2008
Exemple 1D: loi normale avec connu
1er tape:
On calcule p( |D) = p(|D) On connat (sans les donnes)
p(x| ) N(, ) p() N(0, 0)
n
p ( xk | ) = 1 2
2
1 (x k 2 2
e
)2
p ( | D) p ( ) p(xk | )
k =1
1 2 0
2
p( ) =
Meunier 2008
e
1 ( )2 0 2 2 0
41
loi normale avec connu
2e tape: maximisation
ln[ p ( | D)] = 0
N 1 1 ( 0 ) 2 + 2 ( xk ) 2 = 0 2 2 0 2 k =1
n 0 2 2 n + n = 2 2 n + 2 n + 2 0 0 0
n = ? n = 0? 0 = ? (p() est uniforme)
Meunier 2008
n =
1n xk n k =1
42
21
Meunier 2008
2 exemples de lvolution de p(|D)
p(|D) est une gaussienne de moyenne n et de variance n 2 =
2 0 2 2 n 0 + 2
Meunier 2008
43
Exemple en imagerie numrique:
Format PPM (Portable Pixel Map)
P3 # Created by Paint Shop #ligne #colonne 64 64 Image 8 bits 255 255 0 0 255 0 0 208 207 208 207 255 208 207 255 000000000000 000000000000 000000000000 000000000000 000000000000 000000000000 000000000000 208 207 255 208 207 255
Meunier 2008
Pro 5
entte
255 00 00 00 00 00 00 00 00 208
208 207 255 0000 0000 0000 0000 0000 0000 0000 0 208 207 255 207 255
Jasmine.ppm
Note: P4 si le fichier est binaire (bytes ou raw)
44
22
Meunier 2008
Exemple
Image couleur 64 x 64 3 rgions principales:
1: maison blanche 2: vgtation 3: ciel
10 x 10 = 100 chantillons
Caractristiques: R, V et B
Meunier 2008
extract( MB)
45
Exemple
Verdure = 28.47
9.46
29.17
Verdure = 79.364 476.049 258.88
29.148 79.364 49.762 49.762 258.88 185.241
Segmentation
Maison = 142.34
124.99
157.87
Maison =
3.005 103 2.57 103 2.28 103 3 3 3 2.57 10 2.252 10 2.036 10 2.28 103 2.036 103 1.892 103
Ciel = 139.98
94.47
198.12
Ciel =
31.849 5.019 16.104
5.019 16.104
10.66 0.992
0.992 25.706
Variance leve
maison
verdure
ciel
Meunier 2008
Verdure := 4
1
Ciel := 4
1
Maison := 2
1
46
23
Meunier 2008
EM (Expectation-Maximization)
Comment trouver les paramtres dun modle statistique dans le cas dun mlange ou mixture de distributions? Par exemple:
2 p ( x | ) = 1 p1 ( x | 1 , 12 ) + 2 p2 ( x | 2 , 2 )
= ( 1 , 2 , 1 , 12 , 2 , 22 )
Solution: approche itrative EM
Meunier 2008
47
EM (Expectation-Maximization)
Mixture de c distributions:
p (x ) =
P (
j =1
c
j
) p (x j ) =
j =1
c
j
p (x j )
On veut maximiser la vraisemblance:
ln ( p ( X ) ) = ln p ( x k ) = ln j p ( x k j )
k =1 k =1 j =1
n
n
c
Difficile maximiser
on ne sait pas quelle distribution j est associ chacune des donnes xk (si on le savait ce serait trivial en procdant une distribution la fois) cela va mener un systme dquations non-linaires couples insoluble analytiquement...essayons voir avec un mlange de gaussiennes!
Meunier 2008 48
24
Meunier 2008
EM (Expectation-Maximization)
=0
quations nonlinaires couples insolubles analytiquement
0=
d d j
c n c ln j N ( x k j , j ) + j 1 k =1 j =1 j =1
j =
nj 1 n j N (x k j , j ) 1n = kj = c n k =1 n k =1 n i N (x k i , i )
i =1 n
(avec = -n)
0=
c d ln j N (x k j , j ) d j k =1 j =1 n 1 j = kj x k n j k =1
kj : Contribution la classe j de lchantillon k nj : Contribution la classe j de tous les chantillons
0=
Meunier 2008
c d n ln j N (x k j , j ) d j k =1 j =1 1n T j = kj (x k j )(x k j ) n j k =1
Mthode point fixe?
49
Mthode point fixe (exemple)
x = g(x) xn+1 =
g(xn)
x = g ( x) =
3 x2
Estimations initiales: x = 4 Tolrance sur x: 0.0005 et Maximum d'itrations:100
Itration 1 2 3 4 5 6 7 8 9 10 11 4. 1.5 -6. -0.375 -1.26316 -0.919355 -1.02762 -0.990876 -1.00305 -0.998984 -1.00034 x 1.5 -6. -0.375 -1.26316 -0.919355 -1.02762 -0.990876 -1.00305 -0.998984 -1.00034 -0.999887 g(x) 2.5 7.5 5.625 0.888158 0.343803 0.108269 0.0367484 0.0121747 0.00406649 0.00135458 0.00045162 |x|
Meunier 2008
50
25
Meunier 2008
EM
Initialisation: ( j , j j ) = ( j , j j )0
Itrer en deux tapes tape E:
kj =
c i =1
j N (x k j , j )
i k
N (x
i , i )
kj : Probabilit que lchantillon k appartienne la classe j nj : Contribution de tous les chantillons la classe j
tape M:
j = j =
j =
n 1n kj = nj n k =1 1 nj 1 nj
k =1 n k =1
n
kj
xk j )(x k j )
T
(x
kj
k
Meunier 2008
51
EM : Gnralisation
Initialisation:
=0
Itrer en deux tapes tape E: Estimer les Probabilits kj
kj = P ( j | x k , i ) = E [zkj | X, i ] = p ( zkj = 1 | X, i )
E z kj | X, i = 0 p( zkj = 0 | X, i ) + 1 p( z kj = 1 | X, i ) = p ( z kj = 1 | X, i )
[
]
Introduction dune variable cache z. zkj = 1 si xk appartient la classe j, zkj = 0 sinon
tape M: Maximiser lEZ[-] de la vraisemblance
Q(, i ) = EZ [ln p( X, Z | ) | X, i ] Q(, i ) = 0 i +1
qui a une solution analytique cette fois!
Meunier 2008
p ( X, Z | ) = j kj N ( xk | j , j )
k =1 j =1 n c n c z z kj
ln p( X , Z | ) = z kj {ln j + ln N ( xk | j , j )}
k =1 j =1
Q (, i ) = EZ [ln p( X, Z | ) | X, i ] = = EZ [ z kj | X, i ]{ln j + ln N ( xk | j , j )}
k =1 j =1 n c
kj tape E
52
26
Meunier 2008
EM
Exemple 1
( i 100)
2
( i 200)
2
theorie1 :=
i
1 2 40
100 2
10000 3 4
e
2 40
2
theorie2 :=
i
10000 e 4 2 2 30
1
2 30
2
histogrammei theorie1i theorie2i 50
0
0
100 i
200
300
Note: On utilise 10000 points (chantillons...