Image, Son, MultimediaAnalyse et Synthèse du Son Musical

Pierre Hannahanna@labri.fr

Université de Bordeaux

ASSM– p.1/35

Plan

Modélisation du son

ASSM– p.2/35

Modèles

formelle

analyse

synthèse

modèle

transformationmonde

(physique)

représentation

(mathématique)réel

Analyse : peu de contrainte de temps

Synthèse :temps-réel

ASSM– p.3/35

Modèles Physiques

Origine : physique des ondes sonores (Rayleigh fin 19ème)

basés sur les modèles mathématiques d’acoustique

simulation d’un instrument

Par rapport aux autres types de modélisations:

avantages : qualité (défauts d’un instrument), contrôles réalistes,

possibilité de définir des instruments non réels, . . .

inconvénients : limites des instruments, temps de calcul (pas en temps

réel), . . .

ASSM– p.4/35

Modèles Physiques

Excitation/résonance

Paradigme masse-ressortressort représente l’élasticité (corde, peau, . . . )

déplacement longitudinal

déplacement transversal

y(x, t) = f1(t +xv)+ f2(t−

xv)

Equations différentielles

Ky′′ = ε

K : tension de la corde,ε densité massique linéaire,y déplacement

Etat intial

Conditions aux limites (extrémités fixes/libres)

Cordes vibrantes, mais aussi membranes, . . . ASSM– p.5/35

Cordes : Karplus-Strong

Algorithme de Karplus-Strong (CMJ 1983)

très efficace

H(z) = 0.5+0.5z−1

Basé sur la table d’onde, remplie au départ par des valeurs aléatoires

Répétition de la table d’onde : hauteur perçue

avec le temps, la table d’onde passe d’une onde aléatoire (bruit) à une onde quasi-périodique

Son de corde original

Son de corde 1

Son de corde 2

Son de corde 3

Son de corde 4ASSM– p.6/35

Karplus-Strong pour les batteries

Légère modification: ajout d’une probabilitép

probabilitép d’avoir

y(n) =12(y(n−N)+y(n−N−1))

probabilité 1− p d’avoir

y(n) =−12(y(n−N)+y(n−N−1))

Résultats différents selon les valeurs dep

Si p= 1 : corde

Si p= 0.5 : perte de la périodicité et génère un son de percussion

Si p= 0 : coupe en partie les périodicités et génère un son de type harpe

ASSM– p.7/35

Modèles Physiques

Autres exemples:

Waveguide Synthesis(89, Yamaha)

Trajet de l’onde sonore le long d’un tuyau ou d’une corde

Instruments à cordes et à vent

Synthétiseurs commerciaux (Clavia Nord, Yamaha VL1, . . . )

Synthèse de la voix

Modèle source/filtre

Résonances : forme de l’enveloppe spectrale, notamment les

formants

ASSM– p.8/35

Modèles Physiques

Exemples de sons issus de la modélisation physique :

Violoncelles

Clarinettes/hautbois

Cuivres

Orgue

ASSM– p.9/35

Modèles abstraits

Modèles abstraits : modèles de synthèseuniquement

Paramètres mathématiques

synthèse de sons complexes à partir d’entitéssimples

généralement des oscillateurs

Deux exemples les plus connus :synthèse FMet synthèse AM

ASSM– p.10/35

Modèles spectraux

Son est représenté par une somme d’oscillateurs

Historique:

Dès années 1903 pour films russes. . .

Années 30: vocoder (voice coder) développé par Dudley (Bell Telephone

Laboratories)

Années 60: phase vocoder (Flanagan/Golden)

Utilisation pour la musique (Risset, années 60)

Exemples de modélisations de voix:

1939

1951

. . .

Avec expressivité

ASSM– p.11/35

Phase Vocoder par FFT

Vocoder : modification de la transformée de Fourier à court-terme

Calculer la FFT (trames, chevauchement, fenêtrage)

Pour chaque bink

calcul de l’amplitude

calcul de la phase

Calcul de la fréquence instantanéeFk(m) pour lemème bin :

F =1

2πdφdt

Fk(m) =θk(m)−θk(m−1)+2pπ

2π(tm− tm−1

Fk(m) =θk(m)−θk(m−1)

2π NFe

ASSM– p.12/35

Phase Vocoder par FFT

Utilisation:

Compression

Traitement parole

Supression reverbération

Réduction de bruit

Limites

Bruit

Attaques

Modulations fréquence/amplitude (vibrato/tremolo)

ASSM– p.13/35

Modèles sinusoïdaux[McAulay, Quatieri (IEEE TASSP, 1986)]

applications [Smith, Serra 1986]

Le signal audiosest donné dans le domaine temporel par:

s(t) =P

∑p=1

ap(t)cos(φp(t))

s(t) =P

∑p=1

ap(t)cos(2π fp(t)t +φp(0))

oùP est le nombre de partiels et

φp(t) = φp(0)+2π∫ t

0fp(u)du (1)

Les fonctionsfp(t), ap(t) et φp(t) sont, respectivement,

la fréquence, l’amplitude et la phase dup-ième partiel.

Ces paramètres varient lentement dans le temps. ASSM– p.14/35

Analyse sinusoïdale

Attention : approximations dans le spectre discret

spectrediscret

erreurs sur les amplitudes

erreurs sur les fréquences

erreurs sur les phases

signal fini

Effets du fenêtrage

Résolution temporelle/fréquentielle

Une ou plusieurs sinusoïdes dans un bin ?

ASSM– p.15/35

Détection de pics

Maximum local dans le spectre d’amplitude

Amélioration de la précision fréquentielle nécessaire

Zéro padding

Interpolations (parabolique par exemple)

ASSM– p.16/35

Sinusoïdes/Partiels

Différences entre partiels et sinusoïdes

Tout spectre variant dans le temps peut être considéré commeune somme

de sinusoïdes variant dans le temps (phase vocoder)

La plupart des bins d’un spectre ne correspondent pas à un vrai partiel

Partiels peuvent être modélisés par des sinusoïdes variantlentementdans

le temps

Méthodes d’indentification:

Forme du spectre (amplitude et/ou phase)

Relation entre deux partiels successifs

Evolution dans le temps

ASSM– p.17/35

Trouver les partiels

partiel : maximum local (pic) dans le spectre|S|(composante sinusoïdale d’un son)

1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 110000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Ampli

tude

Fréquence

FFT

paramètres du partielp: fréquencefp, amplitudeap, phaseφp

ASSM– p.18/35

Partiels

Tout ne peut pas être modélisé par des sinusoïdes

Spectre d’amplitude d’un son de flûte

ASSM– p.19/35

Suivi de partiels

Méthode d’analyse sinusoïdale :

un partiel est supposé présent pour chaque maximum local (méthode

naïve)

l’analyse essaye de relier les partiels trouvés d’une fenêtre sur l’autre

(peak tracking)

au final : suivi de partiels permet d’analyser les harmoniques d’un son

ASSM– p.20/35

Suivi de partiels

McAulay/Quatieri

Suivi d’un partiel sur la fréquence la plus proche

Si aucun pic correspondant :mort du partiel

Si nouveau partiel sans précédent :naissanced’un partiel

ASSM– p.21/35

Suivi de partiels

SMS (Serra/Smith)

Etatendormi(erreurs d’analyse éventuelles)

Adaptation aux sons harmoniques (recherche deguidessur les

harmoniques)

ASSM– p.22/35

Suivi de partiels (2)

20 40 60 80 100 1200

1000

2000

3000

4000

5000

6000

Frame number

Fre

quen

cy (

Hz)

Peak tracking

ASSM– p.23/35

Modèle sinusoïdal: un exemple

amplitude

fréquence

temps

fréquence

amplitude

temps

saxophone alto

ASSM– p.24/35

Suivi de partiels (3)

Problèmes

Croisement de partiels

Vibrato, tremolo, . . .

Améliorations

HMM (Depalle 93)

Prédiction linéaire des évolutions de fréquences (Lagrange 03)

Analyse sinusoïdale de paramètres (Raspaud 06)

ASSM– p.25/35

Modèles hybrides

Limites des modèles sinusoïdaux pour les sons complexes :

Séparation du son en plusieurs composantes

Partiels

Transitoires

Bruit (résidu)

Traitement indépendant de chaque composante

Fusion des composantes pour la synthèse

ASSM– p.26/35

Modèles Sinus+Bruit

SMSSerra/Smith 1989

s(t) =P

∑p=1

ap(t)cos(φp(t))+e(t)

e(t) : composant résiduel (ou bruit)

Bruit blanc filtré

Obtenu par soustraction spectrale:

e(t) = s(t)−P

∑p=1

ap(t)cos(φp(t))

ASSM– p.27/35

Soustraction

Besoin d’interpoler la phase. . .

ASSM– p.28/35

Soustraction spectrale

|Er(k)|= ||Xr(k)|− |Dr(k)||Soustraction des spectres d’amplitude

Pas besoin d’avoir les informations de phase de la partie sinsuoïdale

inutile pour la soustraction spectrale

inutile pour la partie résiduelleASSM– p.29/35

Modèles Sinus+Bruit

Exemples:

Piano

Guitare

Conga

ASSM– p.30/35

Modèles Sinus+Bruit

SMSSerra/Smith 1989

ASSM– p.31/35

Modèles non hybrides

Fitz 1998

Son : somme de sinusoïdes bruitée

yn = A(√

1−K++√

2K[δn∗hn]).exp( jωcn)

Partiel centré enωc

K proportion de bruit

δn bruit blanc

hn réponse impulsionnelle (enveloppe du bruit)

ASSM– p.32/35

Modèles Sinus+Attaques+Bruit

STNVerma/Smith

ASSM– p.33/35

Modèles Sinus+Attaques+Bruit

Autre approche (Nsabimana/Zölzer 2008)

Détection précise des transitoires

Supression

Extrapolation du signal pour combler lestrous

Applications :

ASSM– p.34/35

Modèles Sinus+Attaques+Bruit

Exemples

Analyse

Etirement temporel

ASSM– p.35/35