2 - neurone - Modèle de neurone et réseau (chap 2) Hiver...

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: Modèle de neurone et réseau (chap 2) Hiver 2006 ` 2.2. MODELE D’UN NEURONE Neurone biologique 9 F I G . 2.2 – Schema d’un neurone biologique. ´ 1 2 F I G . 2.1 – Modele d’un neurone artificiel. ` 8 Neurone artificiel R entrées 2.2 ` Modele d’un neurone ` ´ ´` Le modele mathematique d’un neurone artificiel est illustre a la figure 2.1. U ´´´ ´ sentiellement constitue d’un inte` grateur qui effectue la somme RESEAU CHAPITRE 2. MOD´ELE DE NEURONE ET ponderee de ses en ´ n de cette somme est ensuite transformee par une fonction de transfert f qui prod ´ ´` ´´ ´ neurone. En suivant les notations presentees a la section precedente, les R entrees respondent au vecteur pone[p1 p2 · · · pR ]T , alors que w = [w1,1 w1,2 · · · w1,R ]T repr Modèle du neur = ´ ´ ´ des poids du neurone. La sortie n de l’integrateur est donnee par l’equation suiva entrée p1 p2 p3 … w1,1 poids R n= j =1 w1,j pj − b = w1,1 p1 + w1,2 p2 + · · · + w1,R pR − b, ´ que l’on peut aussi ecrire sous forme matricielle : n a n = wT p − b. pR ` ´´ ´ Cette sortie correspond a une somme ponderee des poids et des entrees moins ce w1biais b du neurone. Le resultat n de la somme ponderee s’appelle le niveau d’activa ´ ´´ ,R b Le biais b s’appelle aussi le seuil d’activation du neurone. Lorsque le niveau d’act ´ ´ depasse le seuil b, alors l’argument de f devient positif (ou nul). Sinon, il est neg … ! ƒ biais F I G . 2.1 ` ` ´ On peut faire un parallele entre ce modele mathematique et certaines inform -1 ` connait (ou que l’on croit connaˆtre) a propos du neurone biologique. Ce dern ı principales composantes : les dendrites, le corps cellulaire et l’axone (voir figur a = un Tp " b) ´ drites forment ƒ(wmaillage de recepteurs nerveux qui permettent d’acheminer ´ neurone des signaux electriques en provenance d’autres neurones. Celui-ci agit c ´` d’integrateur en accumulant artificiel. ´ – Modele d’un neurone des charges electriques. Lorsque le neurone devient s ´ ´´ cite (lorsque la charge accumulee depasse un certain seuil), par un processus 3 2.2 ` Modele d’un neurone Notations • Scalaires = minuscules italiques: a, b, c, ... • Vecteurs = minuscules grasses: a, b, c, ... • Matrices = majuscules GRASSES: A, B, C, ... • Constantes = majuscules ITALIQUES: A, B, C, ... 4 Neurone vectoriel 8 p1 ` CHAPITRE 2. MODELE DE NEURO R entrées Modèle du neur ` ´ CHAPITRE 2. MODELE DE NEURONE ET RESEAone U w1,1 Entrée Modèle du neurone p2 … p3 … ! b -1 n ƒ a pR w1,R p Rx1 W 1xR a = ƒ(w Tp " b) + n 1x1 ƒ 1 a F I G . 2.1 – Modele d’un neurone artificiel. ` 2.2 x Modele d’un neurone 11` -1 R b 1x1 ` ´ ´` Le modele mathematique d’un neurone artificiel est illustre a la figure 2.1. U ´ ´ ´´ sentiellement constitue d’un integrateur qui effectue la somme ponderee de ses e ´ n de cette somme est ensuite transformee par une fonction de transfert f qui pro ´ ´` ´´ ´ neurone. En suivant les notations presentees a la section precedente, les R entree respondent au vecteur p = [p1 p2 · · · pR ]T , alors que w = [w1,1 w1,2 · · · w1,R ]T rep ´ ´ ´ des poids du neurone. La sortie n de l’integrateur est donnee par l’equation suiv R n= j =1 w1,j pj − b a = ƒ(Wp-b) = w1,1 p1 + w1,2 p2 + · · · + w1,R pR − b, ´ que l’on peut aussi ecrire sous forme matricielle : n = wT p − b. ` ´ Cette sortie correspond a une somme ponde e des F I G . 2.3 – Representation matricielle du modele d’un neurone artificiel.la sommere´ponde´rpoids et des entre´ves moins cv ´ ` ´ ´ biais b du neurone. Le resultat n de ee s’appelle le ni eau d’acti Le biais b s’appelle aussi le seuil d’activation du neurone. Lorsque le niveau d’ac ´ ´ depasse le seuil b, alors l’argument de f devient positif (ou nul). Sinon, il est ne ation f pour obtenir la sortie du neurone : ` ` ´ On peut faire un parallele entre ce modele mathematique et certaines info ˆtre) a propos du neurone biologique. Ce der ` connait (ou que l’on croit connaı principales composantes : les dendrites, le corps cellulaire et l’axone (v5 fig oir Couche de neurones ´ 2.4. ARCHITECTURE DE RESEAU R entrées 13 Couche de S neurones p1 w1,1 ! b1 -1 n1 ƒ a1 p2 p3 ! b2 n2 ƒ a2 … … -1 pR wS,R ! bS -1 nS … ƒ aS a = ƒ(Wp " b) F I G . 2.5 – Couche de S neurones. ´ du moins en theorie. Nous pouvons aussi fixer un nombre quelconque de neurones sur chaque 6 14 Réseau vectoriel Entrée Couche de S neurones ` ´ CHAPITRE 2. MODELE DE NEURONE ET RESEAU p Rx1 W SxR + n Sx1 ƒ S a Sx1 -1 R b Sx1 a = ƒ(Wp ! b) F I G . 2.6 – Representation matricielle d’une couche de S neurones. ´ Entrée Couche 1 Couche 2 Couche 3 7 Entrée p Rx1 SxR ` noterons toujours le premier indice par i et le deuxieme par j (jamais l’ ´ ´ ´ dice (rangee) designe toujours le numero de neurone sur la couche, alors Couche de S neurones ´ ´ ´ ´ (colonne) specifie le numero de l’entree. Ainsi, wi,j designe le poids de ` ´ le neurone i a son entree j . L’ensemble des poids d’une couche forme d dimension S × R : W w1,1 w1,2 · · · w1,R ` ´ CHAPITRE 2. MODELE DE NEURONE ET RESEAU + n Sx1 ƒ S a Sx1 -1 R b Sx1 w2,1 W= . . . w2,2 · · · w2,R . . ... . . . . wS,1 wS,2 · · · wS,R ´´ Notez bien que a = ƒ(Wp ! b) S = R, dans le cas general (les nombres de neurones et d’en 6 p x1 1 ` CHAPITRE neurones forment un v ONE de neurones, Si l’on considere que les S 2. MODELE DE NEURecteurET RESEAU ` ´ F I G . 2.6 – Representation matricielle d’une couc[he b2 ·S · bS ]ones. = [n1 n2 · · · nS ]T et a = [a1 a2 · · · aS ]T ´ vecteurs b = b1 de · neur T , n ´ ´ ´` representation graphique simplifiee, illustree a la figure 2.6. On y retro Couche 1 Couc Couche 3 Poids d’une couche de neuronesmemes vecteurs et matrice. La seule difference se situe au nive ´ 2.3, les he 2ˆ ´´ ´ precisement du nombre de rangees (S ), de b, n, a et W. k ´ a1 ´ – W (t) designe la matrice des poids pour la couche k d’un reseauaau temps t. 3 a2 1 2 3 W W W k ´ Finalement, pour `construire un re3 Wk ilS3ne S1 x 1 le vecteur correspondantxa la colonne j deseau,(t). x 1 suffit plus que de combi S2 1 ´ – wj (t) designe 1 2 2 1 n n S xS S1 x R S3 x 2 1 ` a la figure 2n ƒ2 exempleS comporte Rƒ3 ees et trois couches de neur 2.7. Cet entr ´ + S x´ ` + S3 x –+i w1kx(1t) ƒ esigne le vecteur-rangee correspondant a la ligne1 i de Wk (t). d´ S 1 ´´ v2 ement S 1 , S 2 et S 3 neurones. Dans le cas general, de nouveau, S 1 = S 1 3 k k-1 b b´ ´ -1 ´ possede sa ) de W (t) (i b´ poids Wk , ou k d ´ – wi,j (t) designe l’element (i, jpropre matricedesigne toujours` une esigneet j une colonne). D ligne l’indice de couche. ` de 2 S1 x 1 S1 S2 S3 Steurs et des matrices relativx 1 a une couche, nous emploierons toujours un x1 S3 es ` ´` cet indice.1Ainsi, les vecteurs bk3, n3k 2et ak sont aussi associes a la couche 1 = ƒ1(W1p ! b1couche de neurones 2a ! b2) 2 = ƒ2(W 3 = ƒ (W a ! b3) Biais d’une ) a a a Il importe de remarquer dans cet exemple que les couches qui suivent ´ ´ – – Repredesigne le vecteur d’un biais pour ois couche k d’un reseau au temps t. bk (t)´ sentation matricielle des reseau de trla couches. F I G . 2.7 ´ 8 ´ ´´ entree la sortie de la couche precedente. Ainsi, on peut enfiler autant d Fonctions d’activation 12 a +1 0 -1 w Tp ` ´ CHAPITRE 2. MODELE DE NEURONE ET RESEAU a b a +1 0 -b w Tp 0 -1 w Tp b b b (a) (b) (c) F I G . 2.4 – Fonction de transfert : (a) du neurone «seuil» ; (b) du neurone «lineaire», et (c) du ´ neurone «sigmo¨de». ı 2.4 ´ Architecture de reseau ´ ´´ ´ Un reseau de neurones est un maillage de plusieurs neurones, generalement organise en couches. 9 + -1 Sx1 ƒ S Sx1 Réseau multicouche R Sx1 b a = ƒ(Wp ! b) F I G . 2.6 – Representation matricielle d’une couche de S neurones. ´ Entrée Couche 1 Couche 2 Couche 3 p Rx1 W1 S1 x R a1 + n1 S x1 1 S1 x 1 W2 S2 x S1 a2 ƒ1 -1 S1 + n2 S x1 2 S2 x 1 W3 S3 x S2 a3 ƒ2 -1 S2 + n3 S x1 3 S3 x 1 ƒ3 S3 -1 R b1 S1 x 1 b2 S2 x 1 b3 S3 x 1 a1 = ƒ1(W1p ! b1) a2 = ƒ2(W2a1 ! b2) a3 = ƒ3(W3a2 ! b3) F I G . 2.7 – Representation matricielle d’un reseau de trois couches. ´ ´ ´ ´ ´ differents algorithmes pour y parvenir dans differents contextes. Pour specifier la structure du ´ reseau, il faut aussi choisir le nombre de couches et le nombre de neurones sur chaque couche. ´ ´ ˆ Tout d’abord, rappelons que le nombre d’entrees du reseau (R), de meme que le nombre de neu´ ´ ` ´ rones sur la couche de sortie est fixe par les specifications du probleme que l’on veut resoudre avec 10 Couches du cerveau 11 Espace vectoriel? 12 ...
View Full Document

This note was uploaded on 10/10/2010 for the course GIF 7005 taught by Professor Gagne during the Spring '09 term at Université Laval.

Ask a homework question - tutors are online