JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 1

Modèles granulaires pour les signaux sonores

Lorcan Mc Donagh

Directeur de thèse: Frédéric Bimbot

Co-encadrant: Rémi Gribonval

Equipe METISS- IRISA/INRIA

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 2

Introduction: motivations

• Un modèle hybride:• Paramétrique

• description efficace (parcimonie,complexité …)• adapté à certaines classes de signaux slt.

• Non-paramétrique• pas d’a priori sur le signal• risque de sur-apprentissage

• Exploiter les « redondances » à long-terme Similitudes entre « Objets sonores » Variabilité autour d’un objet de référence (grain)

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 3

Un formalisme général

Les trames sont modélisées par • une fonction de synthèse • un grain ,

élément d’un dictionnaire • un paramètre de déformation

• une erreur d’approximation

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 4

Problématique

1. Estimation des paramètres

2. Apprentissage du dictionnaire

3. Spécification de la fonction

Problème d’optimisation conjointe• Qualité de l’approximation

• Complexité de la représentation

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 5

Principe général

,F

1~s

1~F

Clustering

Signald’analyse

Signalreconstruit

Résidu

2

ne

1s

ns

Ns Ns~

ns~

Grains

1g

ng

Ng

k

K

1 N n

Estimation

SynthèseAnalyse

1

Paramètres

Dictionnaire= grains-

prototypes

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 6

Exemple: clarinette

Signal original - Complexité= 1.0 Reconstruit – Comp.=0.15 , RSB= 10dB

C= 0.5 , RSB= 20 dB

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 7

Autres exemples

RSB vs. Complexité(Modèle Décalage+LPC)

Vibraphone11k.wav

C= 0.08, RSB= 9dB

C= 0.3, RSB= 20 dB

Percu 16k.wav

C= 0.18, RSB= 12dB

C= 0.4, RSB= 23dB

Drums16k.wav

C= 0.2, RSB= 7dB

C= 0.4, RSB= 10dB

Hancock11k.wav

C= 0.08, RSB= 10dB

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 8

Applications

• Compression avec pertes• Représentations structurées

• Segmentation• Indexation

• Applications musicales• Assistance au « Sampling »• Effets sonores• Re-synthèse granulaire

JJCAAS ’03 - Modèles granulaires pour les

signaux sonores 9

Conclusions et perspectives

• Vers des modèles plus élaborés• modèle stochastique (percussions …)• modèle pour les parties transitoires

• Extension au cas polyphonique •Séparation de sources•Superposition de modèles de types différents

• Aspect techniques• calcul de la matrice des similarités• codage efficace des données