hinton mcclelland rumelhart par albert lejeune

8/14/2019 Hinton McClelland Rumelhart Par Albert Lejeune

1/4

UQAM

Programme de doctorat en informatique cognitive

Cours DIC 8101

Distributed Representations, Chapter 3

de G.E. Hinton, J.L. McClelland et D.E. Rumelhart

Rsum

par

Albert Lejeune

Remis aux professeurs Jean-Guy Meunier et Pierre Poirier

Montral, le 22 novembre 2008


2/4

Ce chapitre 3 de G.E. Hinton, J.L. McClelland et D.E. Rumelhart (HMR) du livre Parallel DistributedProcessing (MIT Press, 1986) dcrit un type de reprsentation qui est moins familier que lesreprsentations dites locales. Chaque entit y est reprsente par un patron d'activit distribue sur ungrand nombre d'lments de calcul et chacun de ces lments est impliqu dans la reprsentation denombreuses entits. Le chapitre est organis en trois sections: 1. les vertus des reprsentationsdistribues, 2. des reprsentations distribues qui fonctionnent efficacement, 3. des reprsentations

structures et des processus.

Les vertus des reprsentations distribues

La premire section aborde trois caractristiques importantes de la reprsentation distribue: (a) leurcaractre essentiellement constructiviste, (b) leur capacit de gnraliser automatiquement face dessituations nouvelles et ( c ) leur rglage en fonction d'environnements changeant.

La mmoire comme infrence

Les personnes peuvent avoir accs leur mmoire de faon trs flexible. Il leur suffit de se rappelerd'lments appartenant des descriptions partielles de leurs contenus. Cette architecture est trsdifficile implanter sur un ordinateur qui stocke chaque lment une adresse donne, et retrouve cetlment grce son adresse. Les reprsentations distribues apportent une faon efficace d'utiliser desmachines parallles pour implanter des recherches du meilleur rsultat. cette fin, on faitcorrespondre diffrents lments correspondant diffrents patrons d'activit sur un groupe donnd'units matrielles. Une description partielle est prsente sous la forme d'un patron d'activit partielqui active certains lments matriels. Un nouvel lment est stock en modifiant les interactions entreles lments matriels de faon crer un nouveau patron d'activit stable. Une faon de rflchir auxmmoires distribues est de le faire en termes d'un ensemble trs grand de rgles d'infrence plausibles.Chaque unit active reprsente une microcaractristique d'un lment et les forces de connexionremplacent de possibles microinfrences entre microcaractristiques. On arrive ainsi, comme pour lammoire humaine, ne plus distinguer vraiment entre un rappel vridique et une confabulation ou unereconstruction plausible.

Similarit et gnralisation

Quand un nouvel lment est stock, les modifications dans les forces de connexion ne doivent pasfaire disparatre les lments existants. On y arrive en modifiant trs faiblement un trs grand nombrede poids. Automatiquement, les reprsentations distribues permettent des gnralisations. S'il s'agit dese rappeler avec prcision d'un ensemble d'lments non relis, la gnralisation devient uneinterfrence. Au contraire, s'il s'agit d'aborder efficacement des situations nouvelles, les gnralisationssont d'un grand secours. Un exemple trs simple serait celui du chimpanz qui raffole des oignons. Lareprsentation d'un lment est compose de deux parties: une qui reprsente le type et l'autre qui

reprsente comment cette instance est distincte d'autres instances du mme type (Est-ce que les gorilles,eux aussi, aiment les oignons?). La construction manuelle des liens entre les units d'un rseau permet l'expert de mieux comprendre le comportement du rseau. Mais cette comprhension est illusoirequand c'est l'ensemble du patron distribu qui fait le travail.

Crer de nouveaux concepts

Un schma plausible de reprsentation de la connaissance doit tre capable d'apprendre de nouveauxconcepts qui ne pouvaient tre anticips au moment de la connexion du rseau. Avec des


3/4

reprsentations locales, cela implique que les units qui correspondent des concepts ne soient pasconnectes entre elles mais au moyen de couches intermdiaires. Avec des reprsentations distribues,on modifiera trs lgrement un grand nombre de connections; ainsi la cration d'un nouveau patronconservera les reprsentations existantes.

Des reprsentations distribues qui fonctionnent efficacement

Cette section considre les dtails techniques qui permettent l'implantation des reprsentationsdistribues. L'encodage conjonctif discute les pour et contre de l'utilisation d'une unit matrielle pourl'encodage de chaque caractristique discriminante. Le codage grossier aborde la question de ladlimitation des zones qui utilisent un schma d'encodage donn et discute les quilibres entrersolution et prcision. La sous-section Implanter un mapping arbitraire entre deux domaines vise dmontrer comment une reprsentation distribue dans un groupe d'units peut causer unereprsentation distribue approprie dans un autre groupe d'units en prenant comme exemple la formevisuelle d'un mot et sa signification. Les significations du mot sont reprsentes l'aide de smmes, cequi provoque un dbat entre les vues componentielle et structuraliste (la signification d'un mot sedfinit seulement par rapport ses relations avec d'autres significations).

Des reprsentations structures et des processus

Cette section considre deux exceptions des reprsentations distribues. Ces extensions sontcongruentes avec les dcouvertes en IA au sujet de l'importance de la structure dans les reprsentationset les processus.

Reprsenter la structure constitutive

Afin de reprsenter des structures conceptuelles analogues celles utilises par des personnes, unsystme doit reprsenter deux hirarchies bien distinctes. La premire est la hirarchie IS-A qui relieles types aux instances de ces types. Dans cette hirarchie IS-A, la reprsentation distribue d'uneinstance inclut, comme composante, la reprsentation distribue de ce type. La seconde hirarchie estcelle de la partie par rapport au tout. Dans l'approche localiste, un tout est nud reli par des arcsnomms aux nuds qui sont ses parties. Mais dans le schma distribu, on veut que diffrents itemscorrespondent des patrons alternatifs d'activits dans le mme ensemble d'units, ce qui ne permet pasde reprsenter en mme temps le tout et ses parties. La solution propose par Hinton repose sur le faitque les ''tout'' ne sont pas seulement la somme de leurs parties; ils sont composs de parties qui jouentun rle particulier dans la grande structure. Bien sr, il doit y avoir un chemin d'accs entre lareprsentation d'un item comme un tout et la reprsentation de ce mme item jouant un rle particulierau sein d'une plus grande structure. On considre ainsi le tout comme une instance particulire d'unnombre de types plus gnraux, chaque tout tant dfini comme un type possdant des espcesparticulires de parties jouant chacune un rle particulier.

Le traitement squentiel de symboles

Reste la question du nombre de structures pouvant tre actives un moment donn. En fait, on peutconsidrer que les personnes sont des processeurs squentiels de symboles pour autant que chaquereprsentation symbolique soit identifie un des tats successifs d'un vaste rseau interactif. Dansune implantation traditionnelle, on utilise des pointeurs. Dans un rseau parallle on cre en quelquesorte des pointeurs arbitraires fournis par les sous patrons combinant identit et rle.


4/4

hinton mcclelland rumelhart par albert lejeune

Documents