c’est quoi, le brésil ? françois pachet sony csl
DESCRIPTION
C’est quoi, le Brésil ? François Pachet SONY CSL. Dialogue avec Laurière. - FP: Le plus gros pays d’Amérique Latine ? - JLL: … C’est quoi l’Amérique latine ? FP: Latitude x, longitude y ? JLL: … C’est quoi la longitude ? FP: La seule solution du problème: Langage (X, Portugais) - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/1.jpg)
C’est quoi, le Brésil ?
François Pachet SONY CSL
![Page 2: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/2.jpg)
Dialogue avec Laurière- FP: Le plus gros pays d’Amérique Latine ?- JLL: … C’est quoi l’Amérique latine ?
- FP: Latitude x, longitude y ?- JLL: … C’est quoi la longitude ?
- FP: La seule solution du problème:- Langage (X, Portugais)- not (equal (X, Portugal))- PartOf (X, LatinAmerica)
- JLL: Bof- FP: Je vois pas
![Page 3: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/3.jpg)
C’est çà !
![Page 4: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/4.jpg)
Ancrage
• Une des limites de la manipulation de symboles: le manque d’ancrage
• Seules des interactions sensori-motrices permettent de donner un sens aux symboles, et donc d’y attacher (solidement) des connaissances
• Alice: pas d’ancrage dans le « réel »Mais les prémisses d’un système ancré, via la double représentation des contraintes en extension et en intention, et le jeu entre ces deux niveaux
![Page 5: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/5.jpg)
Double niveau d’Alice
• Thèse de Pierre Roy (1998):« Satisfaction de contraintes et programmation par objets”
• Filtrage des contraintes subsume bcp des méthodes d’Alice.
• Heuristiques puissantes et générales (min size)
• Thèse d’Anne Liret (2000): « Intégration de mécanismes de réécriture dans un langage de CSP »
• On peut encore « gagner » avec le raisonnement symbolique sur CSP « modernes »,
• Mais délicat à contrôler, pas d’heuristique systématique
![Page 6: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/6.jpg)
EDSLes nouveaux problèmes de l’I.A. ne concernent plus les domaines strictement symboliques
Besoin de catégoriser des signaux bruts issus de l’expérience ordinaire
EDS: Extractor Discovery System, tente de trouver de “bons” extracteurs pour catégoriser les sons
Influence d’ALICE dans la conception d’EDS
![Page 7: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/7.jpg)
Feature ExtractionLe schéma classique
Signal Features Sélection Training
• MFCC• Spectral Features• Slope • Roll-Off • Centroid • Spread • Skew • Kurtosis • Odd-to-Even Harmonic Energy Ratio (OER) • Tristimulus• Filters• Temporal features (ZCR, RMS, etc.)• Formants• Etc.
Dizaines d’algorith
mes
Centaines d’ algorithmes
HMMSVM
Neural netsDecision
Trees,Etc.
Chien, Bossa, Blues, etc.
![Page 8: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/8.jpg)
Généralité vs Efficacité
• Alice a montré qu’un algorithme général pouvait être meilleur qu’un algorithme spécifique en exploitant les structures dans les données.
• De même, EDS s’adapte aux données en trouvant des features spécifiques au problème. Les algorithmes (classification) sont standards
![Page 9: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/9.jpg)
La communauté d’apprentissage (numérique) se focalise sur les
algorithmes
Features Classifiers
Classe
![Page 10: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/10.jpg)
Au contraire, EDS invente des features ad hoc
Features Classifiers
Classe
![Page 11: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/11.jpg)
EDS
Classe 2
Données: signaux audio
Classe 1
Features: fonctions du signal inventées
« Square (Log10 (Abs (Spectral Flatness (BpFilter (Normalize (BpFilter (Blackman (Correlation (Abs (BpFilter (Normalize (Blackman (Correlation (BpFilter (Normalize (Testwav), 308, 965), Testwav))), 232, 1596)), Testwav)), 1256, 244)), 326, 1848))))) »
Classifieurs: algorithmes généraux de classification
![Page 12: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/12.jpg)
Double niveau en ALICE
Contraintes formelles
Contraintes en extension
x + y = 2 * zx > y + z
x {1, 2, 3, 4, 5, 6, …, 100} y {1, 2, 3, 4, 5, 6, …, 100} z {1, 2, 3, 4, 5, 6, …, 100}
z > 2 * y
Contraintes redondantes, réécriture…
![Page 13: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/13.jpg)
Double niveau en EDS
Features formelles
Features en extension
f1 = Zcr (HpFilter (x, 100))f2 = Max(MFCC (x))
f1 {2, 5, 1E-15, 43, .. 3}f2 {…} f3 {…}
f3 = Max(HpFilter(MFCC(x, 100)))
Programmation génétique, réécriture
Max(Autocorrelation(x)) RMS(x)
t
tsktsksAutocor )(*)()(),(
![Page 14: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/14.jpg)
Heuristique d’EDSDécision
• L’évaluation d’une feature consiste à la calculer sur tous les exemples d’apprentissage.
• Ceci est très coûteux.• On peut évaluer sur moins, pour faire une
estimation • Si elle est très mauvaise, on ne continue pas• Heuristique “généralement bonne”
![Page 15: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/15.jpg)
Heuristiques d’EDSCréation de fonction
Heuristique généralement bonne:
« Une fonction compliquée dont le résultat est utilisé comme argument numérique d’un opérateur est rarement intéressante »
HpFilter (signal,Max (BandPassFilter (FFt (Hanning
(derivation(x), 199), 2048), 200, 2000))
![Page 16: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/16.jpg)
Heuristiques d’EDS Création de fonction
Heuristique généralement bonne:
« Une fonction utilisant +3 fois le même opérateur est rarement intéressante »
Fft (Fft (Fft (signal, 2048), 2048), 2048)
![Page 17: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/17.jpg)
tchi
ting
tung
pa
tr
PA
Pandeiro en musique brésilienne traditionnelle
6 types de sons
![Page 18: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/18.jpg)
Classification de sons de Pandeiro
Features
Extractors(Classifiers)
EDS
pa
tchi
ting
tr
patr
invente
app
rend
s
![Page 19: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/19.jpg)
Features trouvées par EDS pour le Pandeiro
1. Rms (Chroma (x))2. Power (Sum (SpectralFlatness (FilterBank (Normalize (x), 5))), -1)3. Peaks (Peals (Square (HFC (Mfcc (Blackman (Normalize (x)), 5)))))4. Derivation (BarkBands (Hann (Normalize (x)), 5))5. Abs (BarkBands (Bartlett (LpFilter (Normalize (x), 100)), 5))6. Mfcc0 (Blackman (HpFilter (Normalize (x), 100)), 10)7. Zcr (LpFilter (x, 100))8. Zcr (HpFilter (x, 20000))
![Page 20: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/20.jpg)
Résultats
![Page 21: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/21.jpg)
Reconnaissance temps-réel
Extractors(Classifiers)
ting tung trtchi ting
Real-timesegmentation
Real-timeclassification
Process
![Page 22: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/22.jpg)
Identification d’aboiements de chiens(F. Kaplan et P. Roy)
play walk
food
stranger
alone
Différentes situations => Différents aboiements
![Page 23: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/23.jpg)
Samples 7440
Nb of individuals 14
Nb of classes 7
alone 752
ball 1001
fight 1118
food 794
play 742
stranger 1802
walk 1231
Duration min 0.11
Duration max 0.921
Average 0.327
ExpérimentationsData Features
• 150 best features created with EDS and Praat operators
• Feature space optimized using Weka’s GreedyStepwise:
34 features left• 19 from EDS genetic search• 15 Praat speech operators
![Page 24: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/24.jpg)
0.00
10.00
20.00
30.00
40.00
50.00
60.00
70.00
80.00
Norm average RecHuman Rec
EDS fait mieux que les humains …
![Page 25: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/25.jpg)
Reconnaissance d’harmoniesà la guitare (brésilienne)
Thèse de Giordano Cabral
• Approche standard– Feature bien connue: Chromagram (Hanning (x))– Moins de 70% de succès
• EDS trouve de meilleurs features:– Derivation (Power (Chroma (Blackman (x)), 0.3)– 78% succès sur les mêmes données
Majeur 7 Majeur 7 9 MineurMajeur renverse
![Page 26: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/26.jpg)
![Page 27: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/27.jpg)
Classification en genres
• Reconnaître le “genre” de la musique en analysant uniquement le signal audio
• Base d’apprentissage: 3 classes
– Brésilien– Jazz– Blues
![Page 28: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/28.jpg)
![Page 29: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/29.jpg)
Conclusion
L’hypothèse feature vs classifier est iconoclaste en traitement du signal.
Mais elle est très puissante.
Elle est exactement la transposition de l’hypothèse de généralité / adaptation aux données d’ALICE dans le monde du signal.
Ça marche parce qu’il existe des heuristiques qui marchent bien de manière générale
![Page 30: C’est quoi, le Brésil ? François Pachet SONY CSL](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813111550346895d975647/html5/thumbnails/30.jpg)
Le Brésil, c’est çà !