« Comment taire »
Olivia Grandville et Sylvie Garot
Romain Kronenberg – Nicolas Leroy
Enjeux
Explorer les liens possibles entre geste et son.
Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore.
Trouver des traitements sonores qui permettent de transformer une voix naturelle en matériau sonore plus électronique et abstrait.
Traitements sonores
MAC G5, Max/MSP
DM2000 – diffusion 6 enceintes
Matériau sonore : voix enregistrées préalablement, captation sonore du plateau en TR
Traitements : Sogs, ring modulation, Spat, delays, sampling, filtres résonants
PC Eyesweb G5 DM2000
Cam 1
Micro1
Micro2
Cam 2
Matrice video
ethernet ADAT
amplisHP1
HP2
HP6
HP3
HP5
HP4
Setup : Audio
Captation et Vidéo
Logiciel utilisé : EyesWeb sur PC, développé par InfoMus Lab à l’université de Gênes (www.eyesweb.org)
2 Caméras DV reliées au PC en composite via une matrice KRAMER commandée par le PC
Données gestuelles envoyées du PC vers le MAC :- liaison Ethernet - protocole Open Sound Control
Setup : Captation et Vidéo
Déroulé du spectacle
1. Podium2. Plateau segmenté3. Tractation4. Son plateau5. Final
1. Captation « Podium »
Extraction de la couleur de la peau
- Mode YUV (YCbCr : Luminance et Chrominances)- Traitement de la chrominance Cr traduisant la proximité au rouge/rose caractéristique de la couleur de la peau
Utilisation du barycentre des pixels
- Robuste - Envoyé via Open Sound Control au MAC
1. Patch Caméra « Podium »
1. Podium
- 86 samples extraits d’un texte, déclenchés successivement en fonction des mains d’Olivia:
- position- proximité - énergie
- Déclenchements de syllabes.
2. Captation « Plafond » Technique de captation :
- Passage en niveaux de gris- Soustraction de fond avec
seuillage :- Photo prise Live ou pré-
enregistrée => Image binarisée- Filtrage : médian + close- Extraction d’une région (« Blob »)
- Bounding rectangle- Vecteur direction
Ajout de bruit :- Déclenchements aléatoires
stoppés si Olivia rentre dans la zone de captation
Vidéo-projection de l’image traitée
2. Patch Caméra « Plafond »
2. Plateau segmenté- Plateau segmenté en 8 zones.- Chaque zone déclenche une partie du texte - Le texte affecté à chaque zone évolue dans le temps, lorsque toutes les zones ont été déclenchées.- Bruit ajouté dans l’image par EyesWeb => nombreux déclenchements aléatoires. - Olivia prend le pas sur le bruit lorsqu’elle entre dans la zone de captation- Samples envoyés dans Delays avec feedback -> construction d’un matériau sonore.
1 2
6 5
8 3
47
5 6
10 9
12 7
811
3. Tractation- Calcul de l’énergie du corps d’Olivia sur le PPRA et la position du centre de gravité.
- L’ énergie contrôle le point de lecture dans le fichier son (buffer~)
- La vitesse de lecture dépend aussi de la position dans le buffer~
- Si l’énergie est inférieure à un seuil donné, le point de lecture se fige et varie légèrement autour de sa position d’arrêt.
- Sogs -> RM
4. Son plateau
- 2 capteurs Accusound sous le plateau.
- Le son est traité successivement avec des filtres résonants, puis de la RM.
- Le son des capteurs est amplifié jusqu’au larsen contrôlé depuis la console.
5. Final
- Retour de Sogs
- En fonction de l’énergie du corps d’Olivia, on avance dans le buffer très vite
- Le son part dans des delays, dont le temps de delay varie abruptement,
- Chaque delay est envoyé dans une enceinte.