chapitre10 - Chapitre 10 ACP et apprentissage hebbien...

Info iconThis preview shows pages 1–3. Sign up to view the full content.

View Full Document Right Arrow Icon

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Chapitre 10 ACP et apprentissage hebbien Lanalyse en composantes principales (ACP) est une methode danalyse des donnees qui per- met de reduire la dimension dun espace dentree en ne retenant que les axes o`u la variance est im- portante. Soit un ensemble de Q vecteurs { p 1 , p 2 ,..., p Q } definis dans < n . Ces vecteurs forment un nuage de points dans un espace `a n dimensions. En choisissant de nouvelles bases, on desire representer ces vecteurs dans < m , avec m < n tout en minimisant la perte dinformation. Shannon definit linformation contenu dans une variable aleatoire X = { x 1 ,x 2 ,...,x N } `a partir de son entropie H ( X ) : H ( X ) =- N X k =1 Pr ( x k ) log[ Pr ( x k )] =- E [log( Pr ( x k ))] (10.1) o`u Pr ( x k ) designe la probabilite de rencontrer la k `eme realisation de X et E represente lesperance mathematique. Lentropie nous dit que plus un x k poss`ede une probabilite elevee, moins il contient dinformation. ` A la limite, lorsque la variable devient deterministe, cest-`a-dire lorsque Pr ( x k ) 1 pour un certain k et que, par consequent, Pr ( x j ) pour j 6 = k , alors lentropie tend vers 0. Cette definition suppose cependant que nous connaissions a priori la loi de densite de nos variables aleatoires ce qui, dans la pratique, nest pas toujours le cas. Cependant, si lon suppose quelles obeissent `a des lois gaussiennes 1 : Pr ( x ) = 1 2 exp "- ( x- ) 2 2 2 # , (10.2) o`u represente la moyenne et 2 la variance, alors lentropie devient : H ( x ) = E 1 2 log(2 2 ) + 1 2 E " x- 2 # = 1 2 log(2 2 ) , (10.3) et lon observe quelle ne depend plus que de la variance. Par consequent, dans le cas de distribu- tions gaussiennes, on peut conclure que la variance est synonyme dinformation. 1 Notez bien que la loi de Gauss sapplique `a une variable aleatoire continue. Dans ce cas, il faut remplacer la sommation par une integrale dans lequation 10.1. 103 104 CHAPITRE 10. ACP ET APPRENTISSAGE HEBBIEN z 1 z 2 p FIG. 10.1 Illustration des composantes principales pour un nuage de points en deux dimensions. Ceci nous am`ene `a definir lanalyse en composantes principales en termes de la variance et de la covariance entre les differentes composantes de nos stimuli. Intuitivement, nous recherchons les directions dans nos nuages de points o`u la variance est maximale, tel quillustre `a la figure 10.1 dans un espace `a deux dimensions, o`u z 1 et z 2 donnent lorientation des deux composantes principales et lellipse symbolise lhypoth`ese de distribution gaussienne des vecteurs qui est sous- jacente `a lACP....
View Full Document

This note was uploaded on 10/10/2010 for the course GIF 7005 taught by Professor Gagne during the Spring '09 term at Université Laval.

Page1 / 9

chapitre10 - Chapitre 10 ACP et apprentissage hebbien...

This preview shows document pages 1 - 3. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online