C’est quoi, le Brésil ?

François Pachet SONY CSL

Dialogue avec Laurière- FP: Le plus gros pays d’Amérique Latine ?- JLL: … C’est quoi l’Amérique latine ?

- FP: Latitude x, longitude y ?- JLL: … C’est quoi la longitude ?

- FP: La seule solution du problème:- Langage (X, Portugais)- not (equal (X, Portugal))- PartOf (X, LatinAmerica)

- JLL: Bof- FP: Je vois pas

C’est çà !

Ancrage

• Une des limites de la manipulation de symboles: le manque d’ancrage

• Seules des interactions sensori-motrices permettent de donner un sens aux symboles, et donc d’y attacher (solidement) des connaissances

• Alice: pas d’ancrage dans le « réel »Mais les prémisses d’un système ancré, via la double représentation des contraintes en extension et en intention, et le jeu entre ces deux niveaux

Double niveau d’Alice

• Thèse de Pierre Roy (1998):« Satisfaction de contraintes et programmation par objets”

• Filtrage des contraintes subsume bcp des méthodes d’Alice.

• Heuristiques puissantes et générales (min size)

• Thèse d’Anne Liret (2000): « Intégration de mécanismes de réécriture dans un langage de CSP »

• On peut encore « gagner » avec le raisonnement symbolique sur CSP « modernes »,

• Mais délicat à contrôler, pas d’heuristique systématique

EDSLes nouveaux problèmes de l’I.A. ne concernent plus les domaines strictement symboliques

Besoin de catégoriser des signaux bruts issus de l’expérience ordinaire

EDS: Extractor Discovery System, tente de trouver de “bons” extracteurs pour catégoriser les sons

Influence d’ALICE dans la conception d’EDS

Feature ExtractionLe schéma classique

Signal Features Sélection Training

• MFCC• Spectral Features• Slope • Roll-Off • Centroid • Spread • Skew • Kurtosis • Odd-to-Even Harmonic Energy Ratio (OER) • Tristimulus• Filters• Temporal features (ZCR, RMS, etc.)• Formants• Etc.

Dizaines d’algorith

mes

Centaines d’ algorithmes

HMMSVM

Neural netsDecision

Trees,Etc.

Chien, Bossa, Blues, etc.

Généralité vs Efficacité

• Alice a montré qu’un algorithme général pouvait être meilleur qu’un algorithme spécifique en exploitant les structures dans les données.

• De même, EDS s’adapte aux données en trouvant des features spécifiques au problème. Les algorithmes (classification) sont standards

La communauté d’apprentissage (numérique) se focalise sur les

algorithmes

Features Classifiers

Classe

Au contraire, EDS invente des features ad hoc

Features Classifiers

Classe

EDS

Classe 2

Données: signaux audio

Classe 1

Features: fonctions du signal inventées

« Square (Log10 (Abs (Spectral Flatness (BpFilter (Normalize (BpFilter (Blackman (Correlation (Abs (BpFilter (Normalize (Blackman (Correlation (BpFilter (Normalize (Testwav), 308, 965), Testwav))), 232, 1596)), Testwav)), 1256, 244)), 326, 1848))))) »

Classifieurs: algorithmes généraux de classification

Double niveau en ALICE

Contraintes formelles

Contraintes en extension

x + y = 2 * zx > y + z

x {1, 2, 3, 4, 5, 6, …, 100} y {1, 2, 3, 4, 5, 6, …, 100} z {1, 2, 3, 4, 5, 6, …, 100}

z > 2 * y

Contraintes redondantes, réécriture…

Double niveau en EDS

Features formelles

Features en extension

f1 = Zcr (HpFilter (x, 100))f2 = Max(MFCC (x))

f1 {2, 5, 1E-15, 43, .. 3}f2 {…} f3 {…}

f3 = Max(HpFilter(MFCC(x, 100)))

Programmation génétique, réécriture

Max(Autocorrelation(x)) RMS(x)

t

tsktsksAutocor )(*)()(),(

Heuristique d’EDSDécision

• L’évaluation d’une feature consiste à la calculer sur tous les exemples d’apprentissage.

• Ceci est très coûteux.• On peut évaluer sur moins, pour faire une

estimation • Si elle est très mauvaise, on ne continue pas• Heuristique “généralement bonne”

Heuristiques d’EDSCréation de fonction

Heuristique généralement bonne:

« Une fonction compliquée dont le résultat est utilisé comme argument numérique d’un opérateur est rarement intéressante »

HpFilter (signal,Max (BandPassFilter (FFt (Hanning

(derivation(x), 199), 2048), 200, 2000))

Heuristiques d’EDS Création de fonction

Heuristique généralement bonne:

« Une fonction utilisant +3 fois le même opérateur est rarement intéressante »

Fft (Fft (Fft (signal, 2048), 2048), 2048)

tchi

ting

tung

pa

tr

PA

Pandeiro en musique brésilienne traditionnelle

6 types de sons

Classification de sons de Pandeiro

Features

Extractors(Classifiers)

EDS

pa

tchi

ting

tr

patr

invente

app

rend

s

Features trouvées par EDS pour le Pandeiro

1. Rms (Chroma (x))2. Power (Sum (SpectralFlatness (FilterBank (Normalize (x), 5))), -1)3. Peaks (Peals (Square (HFC (Mfcc (Blackman (Normalize (x)), 5)))))4. Derivation (BarkBands (Hann (Normalize (x)), 5))5. Abs (BarkBands (Bartlett (LpFilter (Normalize (x), 100)), 5))6. Mfcc0 (Blackman (HpFilter (Normalize (x), 100)), 10)7. Zcr (LpFilter (x, 100))8. Zcr (HpFilter (x, 20000))

Résultats

Reconnaissance temps-réel

Extractors(Classifiers)

ting tung trtchi ting

Real-timesegmentation

Real-timeclassification

Process

Identification d’aboiements de chiens(F. Kaplan et P. Roy)

play walk

food

stranger

alone

Différentes situations => Différents aboiements

Samples 7440

Nb of individuals 14

Nb of classes 7

alone 752

ball 1001

fight 1118

food 794

play 742

stranger 1802

walk 1231

Duration min 0.11

Duration max 0.921

Average 0.327

ExpérimentationsData Features

• 150 best features created with EDS and Praat operators

• Feature space optimized using Weka’s GreedyStepwise:

34 features left• 19 from EDS genetic search• 15 Praat speech operators

0.00

10.00

20.00

30.00

40.00

50.00

60.00

70.00

80.00

Norm average RecHuman Rec

EDS fait mieux que les humains …

Reconnaissance d’harmoniesà la guitare (brésilienne)

Thèse de Giordano Cabral

• Approche standard– Feature bien connue: Chromagram (Hanning (x))– Moins de 70% de succès

• EDS trouve de meilleurs features:– Derivation (Power (Chroma (Blackman (x)), 0.3)– 78% succès sur les mêmes données

Majeur 7 Majeur 7 9 MineurMajeur renverse

Classification en genres

• Reconnaître le “genre” de la musique en analysant uniquement le signal audio

• Base d’apprentissage: 3 classes

– Brésilien– Jazz– Blues

Conclusion

L’hypothèse feature vs classifier est iconoclaste en traitement du signal.

Mais elle est très puissante.

Elle est exactement la transposition de l’hypothèse de généralité / adaptation aux données d’ALICE dans le monde du signal.

Ça marche parce qu’il existe des heuristiques qui marchent bien de manière générale

Le Brésil, c’est çà !