l’intelligence artificielle quelle perspective sur la/les
TRANSCRIPT
AntoineCornuéjols
AgroParisTech–INRAMIA518
L’IntelligenceArtificielle
Quelleperspectivesurla/lesmémoire(s)?
2/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
3/76
Brefhistoriquedel’IA
4/76
IA=méthodesgénéralesderaisonnement
1956-~1970
• Raisonnement=manipulationdereprésentationsdiscrètesdesconnaissances
– Démonstrateursdethéorèmes
– Résolveursuniverselsdeproblèmes(GPS)
– CHECKER:vice-championdumondeaujeudedames(1962)
5/76
A C B
C B
C B A C B
A C B A
C B
A B
A
A C
((BA) (C))
((AB) (C))
((B) (AC)) ((A) (BC))
((CA) (B))
((A) (CB))
boug
er(B
,A) bouger(B,C)
État
Opérateur ((A)(B)(C))
Raisonnement/résolutiondeproblèmes
6/76
Raisonnement/résolutiondeproblèmes
• Méthodes de recherche dans un graphe
5.1 The Logic Theorist and Heuristic Search
Figure 5.2: The eight-puzzle.
with. I will represent the starting position by the following structure, which isa list of three sublists:
((2, 8, 3), (1, 6, 4), (7, B, 5)).
The first sublist, namely, (2, 8, 3), names the occupants of the first row of thepuzzle array, and so on. B stands for the empty cell in the middle of the thirdrow.
In the same fashion, the goal configuration is represented by the followingstructure:
((1, 2, 3), (8, B, 4), (7, 6, 5)).
Next, we have to show how a computer can transform structures of thekind we have set up in a way that corresponds to the allowed moves of thepuzzle. Note that when a tile is moved, it swaps places with the blank cell;that is, the blank cell moves too. The blank cell can either move within its rowor can change rows.
Corresponding to these moves of the blank cell, when a tile moves withinits row, B swaps places with the number either to its left in its list (if there isone) or to its right (if there is one). A computer can easily make either ofthese transformations. When the blank cell moves up or down, B swaps placeswith the number in the corresponding position in the list to the left (if there isone) or in the list to the right (if there is one). These transformations can alsobe made quite easily by a computer program.
Using the Newell and Simon approach, we start with the symbol structurerepresenting the starting configuration of the eight-puzzle and apply allowedtransformations until a goal is reached. There are three transformations of thestarting symbol structure. These produce the following structures:
((2, 8, 3), (1, 6, 4), (B, 7, 5)),
((2, 8, 3), (1, 6, 4), (7, 5, B)),
and((2, 8, 3), (1, B, 4), (7, 6, 5)).
Copyright c�2010 Nils J. Nilssonhttp://ai.stanford.edu/⇠nilsson/
All rights reserved. Please do not reproduce or cite this version. September 13, 2009.Print version published by Cambridge University Press.
http://www.cambridge.org/us/0521122937
115
5 Early Heuristic Programs
None of these represents the goal configuration, so we continue to applytransformations to each of these and so on until a structure representing thegoal is reached. We (and the computer) can keep track of the transformationsmade by arranging them in a treelike structure such as shown in Fig. 5.3.(The arrowheads on both ends of the lines representing the transformationsindicate that each transformation is reversible.)
Figure 5.3: A search tree.
This version of the eight-puzzle is relatively simple, so not manytransformations have to be tried before the goal is reached. Typically though(especially in larger versions of the puzzle), the computer would be swampedby all of the possible transformations – so much so that it would nevergenerate a goal expression. To constrain what was later called “thecombinatorial explosion” of transformations, Newell and Simon suggestedusing “heuristics” to generate only those transformations guessed as likely tobe on the path to a solution.
In one of their papers about LT, they wrote “A process that may solve aproblem, but o↵ers no guarantees of doing so, is called a heuristic for thatproblem.” Rather than blindly striking out in all directions in a search for a
116Copyright c�2010 Nils J. Nilssonhttp://ai.stanford.edu/⇠nilsson/
All rights reserved. Please do not reproduce or cite this version. September 13, 2009.Print version published by Cambridge University Press.
http://www.cambridge.org/us/0521122937
7/76
IA=méthodesgénéralesderaisonnement
1956-~1970
• Raisonnement=manipulationdereprésentationsdiscrètesdesconnaissances
– Démonstrateursdethéorèmes
– Résolveursuniverselsdeproblèmes(GPS)
– CHECKER:vice-championdumondeaujeudedames
• Maisl’intelligencen’estpasqueça
• Lesexpertspossèdentunrépertoireénormedeconnaissances
8/76
IA:«Knowledgeispower»
~1970-~1985
• Ilfautreprésenterdesconnaissancesmultiplesetcomplexes
1. Représentationsstructurées:réseauxsémantiques,scripts,schémas,…
2. Développementdes«systèmesexperts»
Problème : ��� comment acquérir toutes ces connaissances ?
9/76
IA:recoursàdesméthodesgénéralesd’apprentissage
~1985-…
• Développementdenouvellesméthodesd’apprentissage
– Dontlesréseauxdeneurones(2èmegénération:1985)
– Puislesréseauxdeneuronesprofonds(2007-…)
10/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
11/76
Mémoire,informationetcalcul
12/76
LamachinedeTuring
UnemachinedeTuringestcomposéede:
– Unrubaninfinicontientdescasessurlesquellesunsymbolepeutêtreécritoulu
– Unetêtedelecture/écriturepeutsedéplacerd’unecaseàdroiteouàgauche
– Unensemblederèglesdéfinissantcequelamachinedoitfairequandunsymboleestluenfonctiondel’étatcourantdelamachine
Lemêmerubancodelesdonnéesetle
programme!
13/76
Algorithmes…et...apprentissage
• LamachinedeTuringdéfinittoutcequiestcalculable
14/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
15/76
Mémoireetapprentissage
16/76
Description Votre prédiction Vraie classe
1grandcarrérouge -
1grandcarrévert
2petitscarrésrouges
2grandscerclesrouges
1grandcerclevert
1petitcerclerouge
+
+
+
-
+
Leproblèmedel’induction
CombiendefonctionspossiblesdeXversY?Combiendefonctionsrestentaprès6exemplesd’apprentissage?
22=216=65,5364
210=1024
• Exemplesdécritspar:Nombre(1ou2);taille(petitougrand);forme(cercleoucarré);couleur(rougeouvert)
• Declasse+ou-
17/76
• Exemplesdécritspar:
Nombre(1ou2);taille(petitougrand);forme(cercleoucarré);couleur(rougeouvert)
Leproblèmedel’induction
Description Votreprédiction Vraieclasse1grandcarrérouge -1grandcarrévert +2petitscarrésrouges +2grandscerclesrouges -1grandcerclevert +1petitcerclerouge +1petitcarrévert -1petitrcarréouge +2grandscarrésverts +2petitscarrésverts +2petitscerclesrouges +1petitcerclevert -2grandscerclesverts -2petitscerclesverts +1grandcerclerouge -2grandscarrésrouges ?
Combiendefonctionsrestantes?
15
?
18/76
Description Your prediction True class
1grandcarrérouge -
• Examplesdescribedusing:
Number(1or2);size(smallorlarge);shape(circleorsquare);color(redorgreen)
1grandcarrévert
2petitscarrésrouges
2grandscerclesrouges
1grandcerclevert
1petitcerclerouge
+
+
+
-
+
Leproblèmedel’induction
Combiendefonctionspossiblesavec2descripteursdeXàY?
Combiendefonctionsrestentaprès3exemplesdifférents?
22=24=162
21=2
19/76
L’apprentissage–uneextrapolation
20/76
Uneextrapolation–soumiseàdeschoix
21/76
Desbiaispouvantconduireàdesillusions
22/76
Inductionetillusions
Cratèreoucolline?
23/76
Lestypesdeconnaissances
1. Lesconnaissancesapriori– Biaisdereprésentation
– Biaisderecherche
2. Lesinformationssurlafonctionapprise(ouconsidérée)
3. Lesdonnées
F
xH
xh
24/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
25/76
Lamémoirepourcomprendre
26/76
C’esttrès(trop)simple
• Les«données»sontincomplètesetambiguës
27/76
C’esttrès(trop)simple
• Les«données»sontincomplètesetambiguës
1. Interprétationdescènesvisuelles 9.3 Computer Vision of Three-Dimensional Solid Objects
Figure 9.12: A scene analyzed by SEE. (Illustration used with permission ofAdolpho Guzman.)
leaving MIT in 1967 to become a professor of Information and ComputerScience at the University of California at Santa Cruz, he completed a theoryfor assigning labels to the lines in drawings of trihedral solids – objects inwhich exactly three planar surfaces join at each vertex of the object. Thelabels depended on the ways in which planes could come together at a vertex.(I got to know Hu↵man well at that time because he consulted frequently atthe Stanford Research Institute.)
Hu↵man pointed out that there are only four ways in which three planesurfaces can come together at a vertex.25 These are shown in Fig. 9.13. Inaddition to these four kinds of vertices, a scene might contain what Hu↵mancalled “T-nodes” – line intersection types caused by one object in a sceneoccluding another. These all give rise to a number of di↵erent kinds of labelsfor the lines in the scene; these labels specify whether the lines correspond toconvex, concave, or occluding edges.
Hu↵man noted that the labels of the lines in a drawing might be locallyconsistent (around some vertices) but still be globally inconsistent (around allof the vertices). Consider, for example, Roger Penrose’s famous line drawing ofan “impossible object” shown in Fig. 9.14.26 (It is impossible because nothree-dimensional object, viewed in “general position,” could produce thisimage.) No “real scene” can have a line with two di↵erent labels.
Copyright c�2010 Nils J. Nilssonhttp://ai.stanford.edu/⇠nilsson/
All rights reserved. Please do not reproduce or cite this version. September 13, 2009.Print version published by Cambridge University Press.
http://www.cambridge.org/us/0521122937
183
9.3 Computer Vision of Three-Dimensional Solid Objects
Max Clowes (circa 1944–1981) of Sussex University in Britain developedsimilar ideas independently,27 and the labeling scheme is now generally knownas Hu↵man–Clowes labeling.
Next comes David Waltz (1943– ). In his 1972 MIT Ph.D. thesis, heextended the Hu↵man–Clowes line-labeling scheme to allow for line drawingsof scenes with shadows and possible “cracks” between two adjoining objects.28Waltz’s important contribution was to propose and implement an e�cientcomputational method for satisfying the constraint that all of the lines mustbe assigned one and only one label. (For example, an edge can’t be concaveat one end and convex at the other.) In Fig. 9.15, I show an example of a linedrawing that Waltz’s program could correctly segment into its constituents.
Figure 9.15: A scene with shadows analyzed by Waltz’s program. (Illustrationused with permission of David Waltz.)
Summarizing some of the work on processing line drawings at MIT,Patrick Winston says that “Guzman was the experimentalist, Hu↵man thetheoretician, and Waltz the encyclopedist (because Waltz had to catalogthousands of junctions, in order to deal with cracks and shadows).”29
Meanwhile, similar work for finding, identifying, and describing objects inthree-dimensional scenes was being done at Stanford. By 1972 ElectricalEngineering Ph.D. student Gilbert Falk could segment scenes of line drawingsinto separate objects using techniques that were extensions of those ofGuzman.30 And by 1973, Computer Science Ph.D. student Gunnar Grapeperformed segmentation of scenes containing parallelepipeds and wedges usingmodels of those objects.31
Other work on analysis of scenes containing polyhedra was done byYoshiaki Shirai while he was visiting MIT’s AI Lab32 and by Alan Mackworthat the Laboratory of Experimental Psychology of the University of Sussex.33
Copyright c�2010 Nils J. Nilssonhttp://ai.stanford.edu/⇠nilsson/
All rights reserved. Please do not reproduce or cite this version. September 13, 2009.Print version published by Cambridge University Press.
http://www.cambridge.org/us/0521122937
185
12.1 Shakey, the SRI Robot
Figure 12.3: Shakey as it existed in November 1968 (with some of its componentslabeled). (Photograph courtesy of SRI International.)
around a single obstacle lying between its initial position and a goal position,Shakey should first head toward a point near an occluding boundary of theobstacle and then head straight for the unobstructed final goal point.However, the situation becomes more complicated if the environment islittered with several obstacles, and we sought a general solution to this moredi�cult problem.
Shakey kept information about the location of obstacles and about its
Copyright c�2010 Nils J. Nilssonhttp://ai.stanford.edu/⇠nilsson/
All rights reserved. Please do not reproduce or cite this version. September 13, 2009.Print version published by Cambridge University Press.
http://www.cambridge.org/us/0521122937
217
28/76
C’esttrès(trop)simple
2. Interprétationdulangage
“Richard hadn't heard from his college roomate Paul for years. Richard had borrowed money from Paul which was never paid back. But now he
had no idea where to find his old friend. When a letter finally arrived
from San Francisco, Richard was anxious to find out how Paul was.”
29/76
C’esttrès(trop)simple
2. Interprétationdulangage
50/57
"Richard hadn't heard from his college roomate Paul for years. Richard had
borrowed money from Paul which was never paid back. But now he had no
idea where to find his old friend. When a letter finally arrived from San
Francisco, Richard was anxious to find out how Paul was."
Comment traiter un non événement ?
"John walked in the room and Mary was not there" (John désirait voir Mary et s'attendait
à la trouver dans la pièce -> pourquoi n'y est-elle pas ? …)
Ici, on est prêt à comprendre que Richard se sent une obligation vis-à-vis de Paul. Il faut
donc des connaissances sur les relations sociales et sur la psychologie.
Comment traiter "had" (possession ?) et "old" (âge de son ami ? Non. Mais pourquoi et comment?)
Comment infère-t-on que cette lettre vient de Paul alors que ce n'est pas dit explicitement ?
BORIS [Dyer,82]
Cours IA (A. Cornuéjols)
30/76
"L'astronome veut épouser une étoile"
Etoile
Lesréseauxsémantiques
?
31/76
"L'astronome veut épouser une étoile"
Astronome
Astre Profession
Planètes Etoile
Soleil Observatoire
Célébrité
Cinéma Danseuse
Epouser
Personne
Inférence par propagation d'activité ou de marqueurs : focalise l'attention
Lesréseauxsémantiques
32/76
Possession-1
Paul
Titine
Printemps-86
Automne-87
Possession Situation
Homme
Voiture
Printemps
Automne
Propriétaire
Possédé
Début
Fin
Sorte-de
Sorte-de
Sorte-de
Sorte-de
Sorte-de
Sorte-de
Lesréseauxsémantiques
33/76
Dequoia-t-onbesoinpourinterpréter…
…desentréesincomplètes/ambiguës?
Nouscomplétonsgrâceàdesconnaissancesapriori
34/76
Les«frames»deMarvinMinsky(1974)
Connaissancespourinterpréterdesscènesvisuelles
• WhenoneencountersanewsituationoneselectsfrommemoryastructurecalledaFrame.Thisisarememberedframeworktobeadaptedtofitrealitybychangingdetailsasnecessary.
• Aframeisadata-structureforrepresentingastereotypedsituation,likebeinginacertainkindoflivingroom,orgoingtoachild'sbirthdayparty.Attachedtoeachframeareseveralkindsofinformation.Someofthisinformationisabouthowtousetheframe.Someisaboutwhatonecanexpecttohappennext.Someisaboutwhattodoiftheseexpectationsarenotconfirmed.
35/76
Les«frames»deMarvinMinsky(1974)
• AFrameisacollectionofquestionstobeaskedaboutahypotheticalsituation;itspecifiesissuestoberaisedandmethodstobeusedindealingwiththem.
• Questionsnormalespourcomprendre– Whatcausedit?(agent)
– Whatwasthepurpose?(intention)
– Whataretheconsequences?(side-effects)
– Whodoesitaffect?(recipient)
– Howisitdone?(instrument)
• Inseeingaroom,orunderstandingastory,oneassemblesanetworkofframesandsubframes.Everythingnoticedorguessed,rightlyorwrongly,isrepresentedinthisnetwork.
36/76
Les«frames»deMarvinMinsky(1974)
• EXPECTATION:Howtoselectaninitialframetomeetsomegivenconditions.
• ELABORATION:Howtoselectandassignsubframestorepresentadditionaldetails.
• ALTERATION:Howtofindaframetoreplaceonethatdoesnotfitwellenough.
• NOVELTY:Whattodoifnoacceptableframecanbefound.Canwemodifyanoldframeormustwebuildanewone?
• LEARNING:Whatframesshouldbestored,ormodified,asaresultoftheexperience?
37/76
Lesscriptspourcomprendrelestextes[Schank,195]
• Script«restaurant»
38/76
Typesdemémoires
• Mémoireépisodique– Évènementsethistoiredesexpériencesdel’agent
• Mémoiresémantique– Connaissancesconceptuelles
39/76
Typesdemémoires
• Mémoireépisodique– Évènementsethistoiredesexpériencesdel’agent
• Mémoiresémantique– Connaissancesconceptuelles
– Ques’est-ilpassédenotablelorsdevotrederniervoyageenfamilleauGrandCanyon?• Mémoireépisodique
– DansquelpayssesitueleGrandCanyon?• Mémoiresémantique
40/76
Typesdemémoires
• Lessystèmesexperts
15A. Cornuéjols
1. Structure des systèmes experts
Mémoire de travail
Moteurd�inférence
Base de connaissances
Utilisateur
Module d�interface
Moduled�explication
Module d�acquisition
des connaissances
Expert
– Règle : Si le spectre de la molécule présente deux pics x1 et x2 tels que :1. x1 - x2 = M + 282. x1 - 28 est un pic élevé3. x2 - 28 est un pic élevé4. au moins l’un des pics x1 et x2 est élevéAlors la molécule contient un groupe cétone
41/76
Typesdemémoires
• Mémoireàcourtterme/Mémoiredetravail
– Stockemomentanémentlesdonnéesduproblèmeàrésoudreetlespistesenvisagées
42/76
Typesdemémoires
• Mémoireàcourtterme/Mémoiredetravail
– Stockemomentanémentlesdonnéesduproblèmeàrésoudreetlespistesenvisagées
• Mémoireàlongterme
– Mémoiredéclarative
• Lagrippesecaractérisepar…
– Mémoireprocédurale• Pourfaireungâteauauchocolat,ilfaut…
43/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
44/76
LeBigDataetlesréseauxdeneuronesprofonds
45/76
Lesréseauxdeneuronesartificiels
• Réseauxdeneuronesdetype«Perceptronmulti-couche»
x y
46/76
Lesréseauxdeneurones«profonds»
• Réseauxconvolutionnels(YannLeCun)
47/76
Lesréseauxdeneurones«profonds»
• Réseauxconvolutionnels(YannLeCun)
48/76
Lesmémoiresassociatives
• RéseauxdeneuronesdeJohnHopfield(1982)
49/76
Rappeld’imagesparRéseaudeNeuronesArtificiels
• Illustration
50/76
Rappeld’imagesparRéseaudeNeuronesArtificiels
• Illustration
51/76
Unespacesémantiquelatent
• Laquestiondurappeloudelarecherched’information
– Requête«Donnemoidesdocumentsportantsurladécouvertedeconnaissances»
– Onaimeraitaussiavoirdesdocumentssurla«fouillededonnées»
– Problème:lesmotsdelarequêteetdesdocumentsd’intérêtsontdifférents
• Idée:passerparunespaceintermédiairedanslequelon
projettelesmotsdelarequêteetdesdocumentsetdanslequellestermessémantiquementprochessontprochesgéométriquement
52/76
Unespacesémantiquelatent
• Hypothèsedistributionnelle
– Lesmotsutilisésdansdescontextessimilairessontprochessémantiquement[Rubenstein&Goodenough,1965]
• «tohaveaplendidtimeinRome»
• «tohaveawonderfultimeinRome»
• Espacevectorielcapturantdelasémantique
– Lesrequêtesetlesdocumentssontreprésentéscommedesvecteursdansun
espacedetermes
(E.g.espaceà3000dimensions.Pourchaquemotprésentdansle
document,onfournitsonnombred’occurrences)
53/76
AnalyseSémantiqueLatente(LSA)
• Lesdocumentssontreprésentéspardesmatrices
54/76
AnalyseSémantiqueLatente(LSA)
• Décompositionenvaleurssingulières:compressiondel’information
Matricediagonaledesvaleurssingulières
Vecteurdesoccurrencesdutermetidanslesdocuments
Vecteurreprésentantundocument
Approximationdanslenouvelespace
deladescriptiondutermeti
Approximationdanslenouvelespace
deladescriptiondudocumentdj
55/76
AnalyseSémantiqueLatente(LSA)
• Illustration
56/76
AnalyseSémantiqueLatente(LSA)
• Permetde:
1. ComparerdeuxdocumentsencomparantlesvecteursΣkdjetΣkdidansl’espacelatent(e.g.parmesuredesimilaritécosinus)
2. Trouverdesrelationsentretermes(e.g.synonymieouantonymie)
3. Étantdonnéeunerequête(undocument),trouverlesdocumentslesplus«proches»
4. Identifierdescatégories(clusters)dedocumentsoudetermes
• Apprisàpartirdedizainedemillionsdedocuments
• Dimensiondel’espacelatent:100à300
57/76
Rôledescouchescachées
– Quellereprésentation(variableslatentes)?
– Commentchoisirl’architecture?
58/76
Plongementdemotsparréseauxdeneurones
• Àpartird’ungrandcorpusdetextes,Word2Vecassocieàchaquemotunereprésentationdansunespacevectorieldedimension50à300telquedesmotspartageantdescontextessimilairessoientproches.
0 0 0 1 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 1 0 0 0
x t–2x t–1
Mots du contexteobservés
Couche cachée
0 0 0 0 0 0 1 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 1 0 0
xt+1xt+2
V dimensions N dimensions
0 0 0 0 0 0 0 0 0 1 0 0 0 0
V dimensions
Mot prédit à partir de son contexte
xt
[Mikonovetal.(2013)«EfficientEstimationofWordRepresentationsinVectorSpace»,arXiv:1301.3781]
Apprentissaged’unematriceVxNassociantàuneentréemot(dim=V)unvecteurdedimensionN
59/76
Plongementdemotsparréseauxdeneurones
• Illustration
Paris– France=x– Pologne
x=Paris–France+Pologne
60/76
Plongementdemotsparréseauxdeneurones
Applications:
– Latraductionautomatique
• Plongementdemotsdanschaquelangue• Plongementdemotsbilingues:apprentissagedessimilaritésinter-langages(nécessitedescorpusdetraductions)
– L’analysedesentiments
• Utilisationduplongementdemot• Maisavecdestechniquesspécifiques(e.g.sinon«bon»et«mauvais»pourraientêtreproches)
61/76
Plan
1. Brefhistoriquedel’IntelligenceArtificielle
2. Mémoire,informationetcalcul
3. Mémoireetapprentissage
4. Lamémoirepourcomprendre
5. Lebigdataetlesréseauxdeneuronesprofonds
6. Conclusions:l’IAetlesgrandesquestionssurlamémoire
62/76
Conclusions
63/76
Lesgrandesquestionssurlamémoire
1. Quelssontlesgrandstypesdemémoires?
ü Courtterme(detravail)/Longterme
ü Sémantique/Épisodique
ü Procédurale/Déclarative
– Sensorielle/Proprioceptive
Co-développementIAetsciencescognitives
(70s–80s)
NotionsdeBiaisetd’hypothèse
64/76
Lesgrandesquestionssurlamémoire
1. Quelssontlesgrandstypesdemémoires?
ü Courtterme(detravail)/Longterme
ü Sémantique/Épisodique
ü Procédurale/Déclarative
– Sensorielle/Proprioceptive
Autresquestionsliées
• Lacapacitédelamémoiredetravail:7±2
– Est-ceoptimal?
– Queleffetsurlesperformances/surlacognition?
• Externalisationdelamémoire
– Queltypedemémoire?• Sémantique?• Épisodique?
– Conséquencessurlacognition?
Co-développementIAetsciencescognitives
(70s–80s)
PasdelimitesenIAMaispasdetestsystématique
surleseffetsdelataille
Mémoirenoncontrôlée(e.g.Wikipédia)
NotionsdeBiaisetd’hypothèse
65/76
Lesgrandesquestionssurlamémoire
2. Lamémorisationdessensations,évènements,faits,croyances…?– Mémoriserl’essentieletoublierle
superflu
– Êtrefidèleàlaréalitétoutenétantcohérentavecnotrevisiondumonde
– Quelencodage?• Localisé?• Distribué?
Contrôledubiaispouréviterlesur-ajustement
Encodages≠pourlebiaisetl’hypothèse
R.N.:encodagedistribuéoptimiselacompressiondel’information
NotiondeframesÉpisodique/sémantique
66/76
Lesgrandesquestionssurlamémoire
2. Lamémorisationdessensations,évènements,faits,croyances…?– Mémoriserl’essentieletoublierle
superflu
– Êtrefidèleàlaréalitétoutenétantcohérentavecnotrevisiondumonde
– Quelencodage?• Localisé?• Distribué?
Autresquestionsliées
• L’accèsàlamémoire
– Comment?
– Selonletypedemémoire?
Mémoireassociative(reconstructive)Accèsparpatternmatching
Accèsparutilisationd’unindex
Contrôledubiaispouréviterlesur-ajustement
Encodages≠pourlebiaisetl’hypothèse
R.N.:encodagedistribuéoptimiselacompressiondel’information
NotiondeframesÉpisodique/sémantique
67/76
Lesgrandesquestionssurlamémoire
3. Règlesdelamémorisation?– Effetsdelarépétition
• Combien?
– Intégrationavecd’autresitemsmémorisés
– Rôleetcausesdel’oubli
Bigdatavs.Apprentissageàpartir
depeud’exemples
Modèlesdes70s–80sArchitectureblackboardScripts,plans,MOPs,…
Peuderecherches
68/76
Lesgrandesquestionssurlamémoire
3. Règlesdelamémorisation?– Effetsdelarépétition
• Combien?
– Intégrationavecd’autresitemsmémorisés
– Rôleetcausesdel’oubli
Autresquestionsliées
• Accès,consolidationetmodification
– Lamémoireredevientlabile
– Effetetoptimisationdelarépétition
Bigdatavs.Apprentissageàpartir
depeud’exemples
RecherchesurdesmodèlesdeneurosciencesPasvraimentenIA
Modèlesdes70s–80sArchitectureblackboardScripts,plans,MOPs,…
Peuderecherches
69/76
Lesgrandesquestionssurlamémoire
4. Mémoireetattention? Rechercheencours
70/76
Lesgrandesquestionssurlamémoire
4. Mémoireetattention?
5. Mémoireetémotion?
Rechercheencours
?
71/76
Lesgrandesquestionssurlamémoire
4. Mémoireetattention?
5. Mémoireetémotion?
6. Mémoireetsommeil?
Rechercheencours
?
?
72/76
Lesgrandesquestionssurlamémoire
4. Mémoireetattention?
5. Mémoireetémotion?
6. Mémoireetsommeil?
7. Nosdéfautsdemémoire:
– desfailles?
– deseffetssecondairesindésirablesrésultantd’optimisation?
Rechercheencours
EnIASoumisàoptimisation
?
?
73/76
Limitesdel’IA
• LesIAnesaventpascequ’ellessavent!!
• LesIAneconnaissentpasl’ennui:«j’aidéjàvuça10fois!»
• Leurmémoirenechangepaslorsdesaccès
• Pasencoredemodèled’apprentissageincorporantl’attention
• Modèled’apprentissageencorelimitépourl’apprentissageen-ligne:pasd’effetdeséquence
74/76
Effetsdeséquence
Instruction:découperlafiguregéométriquesuivanteennpartiessuperposables.
En2: En3: En4: En5:
75/76
Perspectives
• Nouveauxscénariosd’apprentissage
– Long-lifelearningettransfert• Transfertconstructifettransfertnégatif
– Constructiondecurriculum
“Anothergreatstrengthofthisbookisthewaythatideasbuildupononeanother.Theauthorhasmasterfullywrittenabookinwhichyourintuitionaboutearlyconceptspavethewayforunderstandinglaterconceptseventhoughmissingsomeideasinthebeginningwillnotcrippleyouinlaterchapters.”
Àproposde[StevenStrogatz“Nonlineardynamicsandchaos”,2014]
76/76
Interrogation
Mémoiresetniveauxdedescription
1. Sciencescognitives:niveauxdesétatsmentaux– Intentions,buts,plans,croyances
2. Descriptionauniveauneuronal– Connexionsentreneurones
– Nouveauxneurones/neuronesdétruits
– Airescérébrales
Oscillationdel’IAentrelesdeux
niveauxdedescription