Ministère de la culture et de la communicationCentre national de la recherche scientifique

Université Pierre et Marie CurieInstitut de recherche et coordination acoustique/musique

Sciences et technologies de la musique et du son UMR 9912 STMS

Projet de recherche à 5 ans – 2014-2018

Projet 2014-2018

Table des matières

1 PRÉSENTATION DE L’UNITÉ........................................................................................................5

1.1 CARACTÉRISATION DE LA RECHERCHE...........................................................................................51.2 ORGANISATION......................................................................................................................5

1.2.1 Equipes de recherche........................................................................................................................51.2.2 Direction...........................................................................................................................................51.2.3 Organigramme.................................................................................................................................5

2 ANALYSE SWOT............................................................................................................................ 6

2.1 POINTS FORTS........................................................................................................................62.2 POINTS FAIBLES......................................................................................................................72.3 OPPORTUNITÉS......................................................................................................................72.4 RISQUES...............................................................................................................................8

3 PROJET GÉNÉRAL........................................................................................................................ 9

3.1 MISSIONS.............................................................................................................................93.2 OBJECTIFS.............................................................................................................................9

3.2.1 Attendus généraux...........................................................................................................................93.2.2 Objectifs scientifiques.......................................................................................................................93.2.3 Formation par la recherche............................................................................................................10

3.3 STRATÉGIE...........................................................................................................................113.3.1 Partenariats et collaborations........................................................................................................113.3.2 Analyse et renouvellement des moyens et des compétences nécessaires......................................113.3.3 Politique d’animation de l’unité.....................................................................................................123.3.4 Diffusion et valorisation des travaux..............................................................................................12

4 PROJET DÉTAILLÉ...................................................................................................................... 13

4.1 EQUIPE ACOUSTIQUE INSTRUMENTALE.......................................................................................134.1.1 Projet CAGIMA (Conception Acoustique Globale d’Instruments de Musique à Anche, justes et homogènes)................................................................................................................................................134.1.2 Instruments de Musique Intelligents..............................................................................................144.1.3 Géométrie différentielle et mécanique...........................................................................................154.1.4 Synthèse par modélisation physique (logiciel Modalys).................................................................17

4.2 EQUIPE ESPACES ACOUSTIQUES ET COGNITIFS..............................................................................184.2.1 Objet et positionnement de la recherche........................................................................................184.2.2 Interaction multisensorielle / cognition spatiale............................................................................21

4.3 EQUIPE PERCEPTION ET DESIGN SONORES...................................................................................234.3.1 Perception et cognition des sons environnementaux.....................................................................234.3.2 Design sonore et interaction..........................................................................................................264.3.3 Outils pour le design sonore...........................................................................................................27

4.4 EQUIPE ANALYSE/ SYNTHÈSE DES SONS......................................................................................284.4.1 Analyse, Transformation, et Synthèse du son........................................................................284.4.2 Description des contenus musicaux.........................................................................................294.4.3 Analyse, traitement et synthèse de la voix..............................................................................304.4.4 Modélisation physique pour l’analyse et la synthèse du son................................................31

4.5 EQUIPE REPRÉSENTATIONS MUSICALES.......................................................................................334.5.1 Langages et architectures pour la composition et l’interaction......................................................334.5.2 Logique des structures et processus musicaux...............................................................................344.5.3 Intelligence des situations musicales..............................................................................................36

4.6 EQUIPE ANALYSE DES PRATIQUES MUSICALES..............................................................................384.6.1 Esthétique et histoire de la musique contemporaine......................................................................384.6.2 Comprendre les processus créateurs et leurs différents acteurs.....................................................394.6.3 Stratégies d’analyse pour des répertoires spécifiques....................................................................40

3

Unité mixte de recherche STMS Ircam-CNRS

4.6.4 Instrumentation du discours multimédia sur la musique................................................................424.7 EQUIPE INTERACTIONS MUSIQUE MOUVEMENT............................................................................43

4.7.1 Mouvement et son : modélisation et expérimentation...................................................................434.7.2 Synthèse sonore interactive............................................................................................................454.7.3 Nouveaux instruments de musique numériques et systèmes interactifs sonores...........................464.7.4 Usages et applications : collaborations artistiques et pédagogiques.............................................47

4.8 CENTRE DE RESSOURCES IRCAM................................................................................................484.8.1 Médiathèque..................................................................................................................................484.8.2 Gestion des documents multimédia et textuels..............................................................................484.8.3 Corpus documentaires sur la musique contemporaine...................................................................484.8.4 Ressources......................................................................................................................................494.8.5 Expertise.........................................................................................................................................49

5 ANNEXES...................................................................................................................................... 50

5.1 ANNEXE 1 : SÉMINAIRE JANUS DE L’IRCAM – 9-10 JANVIER 2012...................................................505.1.1 Attendus initiaux et organisation...................................................................................................505.1.2 Bilan du séminaire Janus................................................................................................................51

5.2 ANNEXE 2 : SÉMINAIRE PROSPECTIVE R&D 2012 – 21-22 MARS 2012..........................................52

4

Projet 2014-2018

1 Présentation de l’unité

1.1 Caractérisation de la recherche

Si les recherches de l’unité comprennent un important volet de réalisations technologiques appliquées aux enjeux de la création artistique et des industries culturelles, elles n’y sont cependant pas réductibles et visent plus généralement à contribuer à la constitution et à l’accroissement des connaissances, tant dans le champ des sciences de l’information et de l’ingénierie qui constituent leur centre de gravité - à travers la modélisation des phénomènes sonores, la formalisation de leur structuration et des procédés de leur manipulation (acoustique, traitement du signal, informatique) – que dans le champ des sciences humaines (musicologie, psychologie cognitive) pour lesquelles les différentes formes d’activité musicale et plus généralement d’interaction de sujets humains avec les sons constituent un cadre et des objets d’étude en soi.

Les principaux destinataires des recherches s’organisent en cercles concentriques :- les créateurs, artistes, chercheurs, ingénieurs du son et techniciens en tant à la fois que co-

acteurs de la recherche et utilisateurs ;- les enseignants et industriels en tant que médiateurs et utilisateurs des connaissances et

technologies produites ;- les citoyens, à travers les actions de diffusion culturelle (événements, colloques, formations,

ressources en ligne) et de formation par la recherche mis en œuvre par l’unité et ses partenaires sur la base de ses travaux de recherche et création.

1.2 Organisation

1.2.1 Equipes de rechercheL’organisation de l’UMR se fonde sur la même structure d’équipes que celle du contrat précédent. Il est à noter le changement de nom de l’équipe Interactions musicales temps réel, qui devient Interactions musique mouvement, cette nouvelle dénomination rendant mieux compte de l’évolution de son champ de recherche depuis plusieurs années.

1.2.2 DirectionLes évolutions structurelles des dernières années, dans le respect des préconisations du dernier comité AERES, conduisent à une quasi-identité entre le département R&D de l’Ircam et l’unité, à la fois en termes de collaborateurs et de missions (à l’exception de deux services propres à l’Ircam, le Service informatique et la Valorisation, cf organigramme). Ce constat induit la nécessité d’un seul directeur pour ces deux structures coïncidentes. Le directeur proposé pour la période du projet est donc Hugues Vinet, directeur du département R&D. Cette proposition est soutenue par la direction de l’Ircam et a reçu l’avis favorable du conseil de laboratoire réuni le 14 septembre 2012.

1.2.3 Organigramme

5

Unité mixte de recherche STMS Ircam-CNRS

2 Analyse SWOT

2.1 Points forts

La création artistique comme dynamique de rechercheLe contexte de l’Ircam suscite une dynamique de recherche originale, liée à la création artistique non seulement en tant que débouché et/ou objet d’étude, mais aussi dans l’élaboration commune, entre chercheurs et artistes, de concepts formalisant les structures du sonore et de sa production. L’art pose des questions inédites à la science dont les réponses éventuelles trouvent généralement un écho beaucoup plus large, tant sous forme théorique que dans d’autres domaines d’application. Un apport de ce cadre de travail est la collaboration qu’il permet aux chercheurs avec des artistes de très haut niveau, compositeurs, instrumentistes, chorégraphes, metteurs en scène. L’abord de la technique y est indissociable de la prise en compte du sujet humain en tant que concepteur, producteur et/ou récepteur des artefacts musicaux.Un pôle attractif et rayonnant au plan internationalBien que de taille moyenne, le département R&D de l’Ircam est le plus grand centre de R&D public dans le monde consacré aux STMS. Cette concentration constitue une singularité française au niveau international, liée au soutien depuis plusieurs décennies du ministère de la culture à des centres de recherche dédiés à la création; il existe de nombreux groupes dans le monde de taille plus réduite, et dont le champ d’investigation est moins large. Bien au-delà des stricts enjeux de la création musicale, l’Ircam a depuis 15 ans valorisé ses compétences spécifiques pour maintenir son avance compétitive et développer ses activités dans de nombreux domaines liés aux STMS, grâce notamment au soutien de programmes nationaux et européens. Cette situation unique, ainsi que l’objet même des travaux, associant science et musique, font de l’unité un pôle attractif au niveau international, comme en atteste le niveau du recrutement du parcours ATIAM ou le nombre de candidats au programme de résidence en recherche. Le lien structurel et la proximité de l’Ircam avec le Centre Pompidou 1, dans le cadre duquel sont organisés de nombreux colloques, contribue également au rayonnement des activités et à l’affirmation de la dimension pluridisciplinaire des travaux, de même que la puissance de diffusion et de communication de l’Ircam (cf § 3.3.4). En ce qui concerne la visibilité sur le Web, l’UMR est classée, hors de proportion de ses moyens et effectifs en comparaison des autres structures de ce rang, 141ème(en septembre 2012) au classement Webometrics des 4000 premiers centres de recherche dans le monde2.Périmètre des recherches et interdisciplinaritéLa variété des compétences scientifiques réunies définit un large périmètre de recherche et permet d’aborder les questions relatives à la musique et au son selon une large palette de points de vues disciplinaires et approches méthodologiques. Le cadre de coordination interdisciplinaire qu’elle propose constitue l’un des aspects différenciateurs de l’UMR, qui apparaît comme un laboratoire d’interface. Outre l’articulation structurelle avec les problématiques artistiques, elle se concrétise dans le champ scientifique d’une part par de nombreuses collaborations entre équipes, sous forme de co-encadrements de thèses, de participations conjointes à des projets ANR et européens, d’autre part par des collaborations avec de nombreux laboratoires plus spécialisés.Une culture du développement et de la valorisation technologiquesL’organisation de l’Ircam comprend une mission de développement technologique intégrée aux équipes de recherche, visant la production d’outils de création (cf Bilan), qui représente également une spécificité de l’apport du laboratoire. Les réalisations technologiques interviennent comme supports à l’activité de recherche en intégrant au fur et à mesure de leur aboutissement les modèles qu’elle produit; leur confrontation permanente aux retours d’utilisation (production interne à l’Ircam, Forum Ircam) contribue à leur qualification. Cette culture du développement technologique, de ses contraintes d’implantation, du retour d’usage, des questions d’interface homme-machine, favorise les transferts technologiques auprès des partenaires industriels. De plus, les équipes sont très impliquées dans les projets de R&D collaboratifs au niveau national et européen3, de même qu’avec les structures locales (pôle de compétitivité Cap Digital) et la politique de l’Ircam en matière de

1 Premier musée d’art contemporain en Europe2 http://research.webometrics.info/en/world?page=13 L’unité a été impliquée dans 45 projets de R&D collaboratifs nationaux et européens au cours la période du bilan 2007-juin 2012, dont 15 qu’elle coordonne.

6

Projet 2014-2018

valorisation est de plus en plus active (succès du lancement de la collection Ircam Tools, augmentation du nombre de licences de logiciels au cours de la période du bilan).InfrastructuresLes locaux de l’Ircam, idéalement situés au cœur de Paris, comprennent un ensemble d’équipements spécialement adaptés à ses recherches, dont une chambre anéchoïque, 8 studios isolés et dotés d’un traitement acoustique, et l’Espace de projection, salle unique au monde de 4000 m3 à acoustique modulable commandée par un système électromécanique et récemment dotée d’un système inédit de diffusion multicanal de 339 haut-parleurs combinant dispositifs Wavefield synthesis et Ambisonique. La connectivité à Internet est optimale grâce à 2 connexions de 10 Gb/s via le réseau Renater4. Efficacité et souplesse de gestionLa structure de l’Ircam permet une gestion efficace et réactive des opérations de recherche, facilitant l’aboutissement rapide d’opérations complexes (négociations industrielles, montage et bilan administratifs de projets, etc.) et la gestion simultanée de nombreux projets.

2.2 Points faibles

Structure de baseLa croissance des activités de R&D de l’Ircam, nécessaire à la constitution d’une masse critique de compétences contribuant au développement de son avance compétitive, s’est faite principalement par une participation très active à de nombreux projets collaboratifs, nationaux et européens. Une part importante des moyens ainsi obtenus ne sont pas pérennes, et leur renouvellement nécessite de la part des chercheurs statutaires un effort soutenu pour monter, coordonner ou participer à ces projets. S’ajoutant aux enjeux spécifiques de collaboration avec la communauté artistique de l’Ircam, de développement et de valorisation, ils leur laissent peu de temps pour avancer dans leur recherche personnelle et la publier. Le constat de cette croissance, déjà fait depuis plusieurs années, est que la structure de base du laboratoire, en effectifs permanents, est insuffisante et doit être renforcée. Soutien à l’interdisciplinaritéEn lien avec le point précédent, la contrepartie constatée du positionnement des recherches sur des thèmes à la frontière de disciplines est la plus grande difficulté potentielle, variable selon les structures, d’un soutien par des entités décisionnaires représentatives des disciplines, voire même par des comités interdisciplinaires ne pouvant couvrir tout le champ des interfaces possibles.Parité hommes-femmesOn regrette la trop faible proportion de femmes dans les effectifs, reflet des candidatures exprimées en lien avec les différentes catégories de personnels.

2.3 Opportunités

Enjeux liés aux technologies de l’information et aux industries culturellesLes enjeux sociétaux des technologies de l’information figurent en priorité de la plupart des agendas de recherche, notamment nationaux5 ; dans ce champ, il existe une forte attente sur les industries culturelles et de contenu auxquelles s’adresse l’unité, qui fédèrent tout un tissu de PME, en première ligne sur l’innovation ainsi que de grands industriels de la diffusion. Le Pôle Cap Digital, dans lequel nous sommes particulièrement impliqués, est reconnu comme l’un des tout premiers en France.Intérêt croissant pour les dialogues Art/ScienceOn constate depuis quelques années une multiplication d’initiatives de la part de grands acteurs (Universcience, Minatec/Hexagone, Université Paris sud, etc.) autour des enjeux sociétaux des dialogues art/science. Cet intérêt est renforcé au niveau national par l’inscription en cours des écoles d’art dans le LMD et la constitution de filières doctorales de recherche en art. A l’échelle de la Commission européenne, les DG INFSO et CONNECT ont également lancé une consultation privée, à laquelle nous participons, en vue de promouvoir des lignes d’action liant ICT et Art dans les futurs programmes de recherche qu’elles soutiennent. Fort d’une expérience de plus de 30 ans, l’Ircam est sollicité en tant que l’un des principaux acteurs de ce champ singulier et compte y poursuivre son investissement, notamment en vue de développer des filières doctorales de recherche musicale en collaboration avec les acteurs concernés (conservatoires nationaux, universités).Evolution du contexte technologique

4 http://pasillo.renater.fr/weathermap/weathermap_idf.html5 http://www.enseignementsup-recherche.gouv.fr/cid28861/s.n.r.i.-trois-priorites-de-recherche-a-4-ans.html

7

Unité mixte de recherche STMS Ircam-CNRS

Les implications des évolutions technologiques en cours sur les recherches de l’unité comportent plusieurs aspects. La généralisation de l’informatique mobile et ubiquitaire ouvre de nouvelles possibilités pour l’interaction musicale collaborative, la gestion distribuée de systèmes de captation et de rendu audio individualisé qui suscitent de nouvelles recherches, de nouveaux usages, mais aussi de nouvelles formes de développement d’applications mobiles et d’applications web tirant parti d’HTML 5. La virtualisation des échanges permet à des acteurs de taille limitée de diffuser largement leurs réalisations tant pour la distribution d’applications par le biais de boutiques planétaires que de contenus web originaux (sites documentaires sur la musique contemporaine pour l’Ircam notamment). L’arrivée à matûration de systèmes de gestion de communautés ouvre de nouvelles possibilités d’animation, notamment pour l’Ircam en lien avec les évolutions du Forum - club d’utilisateurs de ses logiciels.

2.4 Risques

Outre ceux déjà mentionnés liés au faible nombre de collaborateurs liés à chaque discipline, les risques identifiés sont normaux et ne comportent pas de caractère spécifique à cette UMR.

8

Projet 2014-2018

3 Projet généralL’élaboration du projet intervient en cours de réalisation du projet précédemment élaboré (2011-2014), en vue de la resynchronisation du cycle pluriannuel de l’unité à celui de l’UPMC (vague D), nouvelle tutelle de l’UMR depuis 2010. Si la structure des équipes reste inchangée, on constate cependant un renouvellement sensible de leurs projets et directions de recherche, qui atteste de leur vitalité.

3.1 Missions

Les missions de l’UMR sont celles d’un pôle de recherche interdisciplinaire sur les Sciences et technologies de la musique et du son (STMS), avec comme premier attendu, conformément aux missions de l’Ircam qui en assure l’infrastructure, de contribuer sous forme d’outils et de nouveaux concepts au renouvellement de la création musicale et sonore, plus largement des arts du spectacle, et à leur diffusion. Au-delà de ce premier enjeu, la finalité des recherches s’étend aux industries culturelles en général, et à tous domaines faisant intervenir la musique ou le son.

3.2 Objectifs

3.2.1 Attendus générauxSi les projets des équipes exposés dans la suite du document reflètent une grande diversité de champs, de méthodes et de techniques, une vision stable des objectifs globaux de l’Unité, qui constituent un horizon commun reconnu par tous, peut être défendue pour la période qui s’ouvre. Une telle unité permet une grande interopérabilité des recherches, des résultats et des outils techniques, chaque équipe examinant, avec ses instruments propres, des aspects différents d’un même univers de la musique et du son.Ces grands objectifs partagés qui transcendent les frontières disciplinaires se donnent selon quatre visées clairement définies  qui couvrent par leurs extensions et leurs interactions le phénomène audio-musical : entendre, représenter, interagir et créer. L’UMR contribue régulièrement à étendre l’état de l’art dans ces quatre directions.

Entendre : au sens large de percevoir, comprendre, et dans le sens restreint de l’écoute naturelle ou artificielle, cette action englobe aussi bien les modèles d’analyse des signaux et la fouille de données audio-musicales, que la modélisation des champs sonores spatiaux, les études perceptives et cognitives et l’intégration multi-sensorielle.

Représenter : vise les modèles et descriptions de contenus audio-musicaux structurés, selon une approche cognitive ou bien formelle et mathématisée, notamment par une architecture, des langages, des modèles et des structures de données informatiques adaptés.

Interagir : cible la mise en œuvre du corps en relation avec les processus techniques ; recouvre les modèles et contrôles d’instruments, le mouvement et la gestualité, l’interaction avec les contenus numériques, l’improvisation, la synchronisation et l’ordonnancement de processus musicaux, le design sonore interactif

Créer : vise la production d’artefacts et objets nouveaux, qu’elle relève de la synthèse et du traitement sonores ou de l’algorithmique formelle ; recouvre la composition et l’improvisation assistées, la synthèse spatiale des champs sonores, mais aussi les aspects créatifs liés à l’expressivité des langages de programmation, ainsi qu’à l’esthétique et à la musicologie des processus créateurs

Dans ce cadre général, les objectifs particulers des équipes et les grands axes thématiques dans lesquels les positionner ont été élaborés selon un processus collectif.

3.2.2 Objectifs scientifiquesProcessus d’élaborationLe processus d’élaboration du projet scientifique 2014-2018 a été initié l’automne 2011 dans le cadre d’un vaste chantier d’échanges collectifs qui a comporté les étapes suivantes :

- les journées Janus, séminaire organisé par la direction de l’Ircam les 9 et 10 janvier 2012, visant à associer 70 cadres de l’Ircam et de l’UMR (chercheurs et ingénieurs) à une réflexion collective sur la stratégie et le positionnement de l’Ircam pour les années à venir et notamment des enjeux intéressant la recherche (cf § 5.1 en annexe).

9

Unité mixte de recherche STMS Ircam-CNRS

- le Séminaire Prospective R&D 2012, organisé par la direction R&D les 21 et 22 mars au CentQuatre, associant l’ensemble des personnels du département et dont l’objectif était de faire remonter des propositions de nouveaux thèmes de recherche prospectifs sous la forme d’interventions courtes de 10 minutes. Cette proposition a remporté un vif succès, puisque 52 interventions, associant souvent des collaborateurs de plusieurs équipes, ont été proposées et menées en 8 sessions au cours des deux jours (cf § 5.2 en annexe).

- le contenu de ces échanges a servi de base à l’élaboration par les équipes de leurs projets.Nouveaux objectifs scientifiquesAu-delà de l’évolution des projets de recherche des différentes équipes, les concertations menées dans le cadre de l’élaboration du présent projet font apparaître de nouvelles directions de travail :

- prendre en compte la généralisation en cours de l’informatique nomade, par la réalisation et la formalisation de dispositifs d’interaction distribuée et l’évolution des environnements de développement logiciel aux nouveaux terminaux ;

- développer de nouveaux formalismes, notamment géométriques, pour la description de différents phénomènes étudiés par le laboratoire tels que la modélisation des résonateurs non linéaires, les champs sonores tridimensionnels, les signaux de corpus sonores particuliers (sons de textures, sons instrumentaux), et promouvoir leurs applications artistiques ;

- dépasser les paradigmes d’interaction en usage dans les environnements musicaux, par l’élaboration de modèles hybrides multi-échelles des données musicales et de langages adaptés à la formalisation des processus temporels et interactifs et leur intégration dans de nouveaux outils pour la création ; développer de nouveaux modes de contrôle instrumental tels que le contrôle actif ; explorer l’utilité de l’interaction dans l’expérimentation scientifique à travers de nouveaux modes de sonification ; renouveler la relation geste-son par l’interaction multimodale, ubiquitaire, située et incarnée (embodied) ;

- dépasser le cadre commun dans la fouille de données musicales (MIR) en permettant son exploitation fluide dans les applications créatives, y compris les applications interactives en temps-réel, et proposer des avancées significatives dans le domaine de l’écoute artificielle (machine listening) ;

- promouvoir le pilotage sémantique de processus de synthèse ou de génération (synthèse par descripteurs, interaction visuelle riche, exploitation des modèles de connaissance).

3.2.2.1 Axes thématiques transversauxLes principaux axes transversaux définis pour la période 2014-2018 et structurant l’ensemble des objectifs de recherche des équipes sont définis comme suit, dans la continuité de ceux de la période précédente :

1. Modélisation, simulation et analyse - Extension et perfectionnement des méthodes de production et d’analyse des sons : analyse et traitement du signal audio, traitement de la voix, indexation musicale, acoustique musicale et synthèse par modélisation physique, techniques de spatialisation ;

2. Représentations et langages - Représentation et traitement symbolique des informations et processus musicaux : contrôle de la synthèse et de la spatialisation, langages (composition, temps réel), modèles et paradigmes de programmation;

3. Interactions musicales et sonores – Analyse de la performance et conception de dispositifs d’interaction : analyse et modélisation de données gestuelles, interaction geste/son, interaction à partir de traitements symboliques ;

4. Fondements cognitifs, théoriques et musicologiques – Production de connaissances dans différentes disciplines apportant un éclairage sur les pratiques de création sonore et musicales du point de vue de la cognition (audition, cognition spatiale intermodale, cognition située des pratiques musicales), de la musicologie et des mathématiques.

3.2.3 Formation par la rechercheLes efforts investis pour l’encadrement de doctorats et stagiaires de Master et écoles d’ingénieurs seront poursuivis, ainsi que la préparation de soutenances HDR pour les chercheurs concernés. Les actions de formation menées dans le cadre du parcours ATIAM et du Master de l’ESBAM seront

10

Projet 2014-2018

poursuivies. Des échanges institutionnels seront menés en vue de structurer des études doctorales pour la composition musicale contemporaine en lien avec les recherches en STMS.

3.3 Stratégie

3.3.1 Partenariats et collaborations

3.3.1.1 Recherche et enseignement supérieurAvec la participation de l’UPMC comme tutelle universitaire depuis 2010, la structure institutionnelle de l’UMR est stabilisée pour la période du projet. La mise en place de l’équipe-projet commune MuSync (resp. Arshia Cont) en collaboration avec l’INRIA, intégrée à l’équipe Représentations musicales de l’UMR et portant sur la programmation et le traitement synchrone et temps réel des signaux musicaux, devrait également être opérationnelle courant 2013 si la validation de son projet est confirmée par les instances des établissements concernés.Le laboratoire étant constitué de petites équipes couvrant dans leur ensemble un large spectre disciplinaire, un élément important de sa stratégie est le suivi de collaborations, menées par chacune d’elles, avec des laboratoires spécialisés, faisant en particulier l’objet de nombreuses thèses co-encadrées et de colloques co-organisés. L’accroissement de liens avec des chercheurs de référence relevant des neurosciences sera notamment recherché et l’accueil de conférences internationales poursuivi.Les Labex auxquels participent plusieurs équipes de l’unité – CAP6 pour l’équipe APM et SMART7 pour les équipes IMTR, EAC, RepMus et PDS constituent également un cadre structurant de collaboration scientifique à plus long terme que les nombreux projets ANR et européens qu’elles mènent, notamment pour le second avec plusieurs laboratoires de l’UPMC.

3.3.1.2 Monde socio-économique et culturelLa systématisation des collaborations avec le monde industriel, sous des formes multiples (projets collaboratifs et prestations de recherche, licences de technologie et logiciels, produits Ircam), répond à un double objectif de diffusion et de financement et sera poursuivie.La diffusion des activités et leur inscription dans le débat public, en particulier dans le cadre de l’organisation de colloques et expositions interdisciplinaires avec des établissements partenaires (Centre Pompidou, Universcience, Ecole normale supérieure, etc.) sera poursuivie8.

3.3.2 Analyse et renouvellement des moyens et des compétences nécessaires

3.3.2.1 Renouvellement des projets collaboratifs et collaborations industriellesCet objectif mobilise pour une part importante l’énergie des chercheurs du laboratoire. Répondant à d’importants enjeux de financement, il contribue aussi sensiblement au renouvellement rapide des objets de recherche et à leurs diffusion et transfert.

3.3.2.2 Recrutements en personnelComme indiqué dans l’auto-analyse, un renforcement de l’ensemble de l’équipe est nécessaire pour assurer une stabilisation de la structure existante.

Les priorités identifiées pour le recrutement de chercheurs concernent :- le renforcement de l’équipe Analyse/synthèse sur le thème du traitement et de la synthèse de

la voix ;- le renforcement de l’équipe Analyse des pratiques musicales, notamment par des profils

interdisciplinaires alliant musicologie contemporaine et technologies de la musique ;- le renforcement de l’équipe Perception et design sonores par des profils alliant approches

expérimentales et modélisation informatique;- la poursuite des travaux sur l’orchestration assistée par ordinateur (équipes Représentations

musicales et Analyse/synthèse) ;

6 http://www.labex-hesam.eu/fr/7-cap-presentation7 http://www.isir.upmc.fr/UserFiles/File/Bidaud/SMART ISIR_2012.pdf8 A noter en particulier une grande exposition sur la voix organisée par la Cité des sciences et de l’industrie à partir de fin 2013 et dont l’Ircam est l’un des principaux partenaires institutionnels.

11

Unité mixte de recherche STMS Ircam-CNRS

- le recrutement de chercheurs sur les thèmes liés à l’interaction corps/son: modélisation du geste, cognition humaine, ingénierie de l’interaction (équipes Interactions musicales temps réel, Perception et design sonores, Acoustique instrumentale, Espaces acoustiques et cognitifs).

Les principaux besoins identifiés sur des postes d’ingénieurs et techniciens concernent :- le développement logiciel et électronique;- des administrateurs système

3.3.3 Politique d’animation de l’unitéLa politique d’animation déjà en place a fait ses preuves et sera poursuivie. Elle comporte, outre les réunions de chefs d’équipes toutes les deux semaines et les conseils de laboratoire, l’organisation de séminaires internes hebdomadaires, de groupes de travail et de journées prospectives annuelles associant les communautés scientifique et artistique de l’Ircam pour chaque grand thème de recherche musicale, ainsi que des processus de coordination spécifiques liés aux nombreux projets de recherche, de développement ou de création communs. Offrir un environnement de travail et humain créant des conditions propices à la motivation et à l’initiative personnelles à tous les niveaux représente un souci permanent de la direction, comme en atteste le processus qui a conduit au présent projet (cf § 3.2.2). Les équipes et chercheurs sont incités à monter des projets de R&D collaborative et, s’ils sont acceptés, peuvent disposer pour ceux-ci de la totalité des moyens additionnels prévus en personnel CDD et fonctionnement.

Un besoin de partage d’informations internes inter-équipes a émergé lors des séminaires prospectifs, sous la forme d’Intranet partagé doté de fonctions de recherche textuelle. Il n’existe pas a priori de solution technique toute faite et facilement déployable, notamment pour des raisons de sécurité, cette demande devant être instruite plus en détail par le service informatique de l’Ircam.

3.3.4 Diffusion et valorisation des travauxValorisation industrielle et diffusion professionnelleLes nombreuses actions de valorisation s’adressant à différentes cibles seront poursuivies : montage et gestion de projets de R&D collaboratifs, applications logicielles pour les utilisateurs professionnels (Production Ircam et Forum Ircam), pour l’éducation et le grand public, licences industrielles, réalisation de produits commerciaux intégrant les résultats des travaux (collections Ircam Tools et Ircamax) (cf Bilan). Ces actions devraient se déployer plus largement, notamment à l’occasion de la réorganisation du Forum Ircam prévue pour la fin 2012.Diffusion scientifiqueLe projet déjà initié de transfert automatique de la base bibiographique de l’Ircam9 vers HAL sera mené à bien en collaboration avec le Centre de ressources de l’Ircam. La participation des chercheurs de l’UMR à des comités éditoriaux de revues, éditions, colloques internationaux, déjà effective pour un certain nombre d’entre eux, sera encouragée.Diffusion publique et communicationUne brochure de 80 pages présentant l’ensemble des activités de recherche et développement de l’Ircam est actualisée chaque année et éditée en français et en anglais10. Son contenu est répercuté en bilingue sur la structure du site Web de l’Ircam, qui fournit de plus un lien dynamique vers la liste des publications de chaque équipe11. L’Ircam fait appel à deux agences de presse dont l’une spécialisée sur les sciences et technologies de l’information, dont l’action donne lieu à plusieurs dizaines d’interviews de chercheurs par an12. La diffusion publique s’effectue aussi au travers des colloques et conférences organisés, notamment dans le cadre du festival annuel Manifeste de l’IRCAM qui fait l’objet d’une importante campagne de communication, en partenariat avec des médias tels que France Culture ou Le Monde, ainsi que par les sites de l’Ircam (news recherche en page d’accueil du site de l’Ircam, site Daily motion13, site ressources14).

9 http://articles.ircam.fr10 http://www.ircam.fr/uploads/media/Brochure_RD_2012.pdf11 http://www.ircam.fr/equipes.html12 ftp://ftp.ircam.fr/private/direction/hv/DossierPresseSTMS2007-sept2012.pdf (57 Mo)13 http://www.dailymotion.com/Ircam-CGP14 http://ressources.ircam.fr/

12

Projet 2014-2018

4 Projet détaillé

4.1 Equipe Acoustique instrumentale

Les activités de recherche de l’équipe se développent autour de la notion d’instrument de musique, à la fois dans sa manifestation réelle et dans sa manifestation virtuelle et s’inscrivent dans les objectifs stratégiques de l’Ircam. La modélisation physique des instruments qui constitue le fil conducteur de ces activités, est déployée sur ses trois axes complémentaires de recherche : modélisation théorique, expérimentation et implémentation logicielle. Même si tous les instruments n’appartiennent pas à notre référent sonore, de par leur origine géographique ou leur période de vie, ils font partie de nos centres d’intérêt et les étudier permet d’enrichir nos connaissances comme nous le verrons pour le projet CAGIMA avec l’étude des clarinettes anciennes. Ces études couvrent plusieurs facettes du fonctionnement de ces instruments, de l’oscillation au rayonnement, en passant par le contrôle exercé par le musicien, la caractérisation de la qualité à la fois sonore et de jouabilité. Dicté en partie par les besoins musicaux des compositeurs et des interprètes, ce très large spectre d’instruments étudiés peut se faire parfois au détriment de l’approfondissement de certaines recherche et de la spécialisation de l’équipe sur un thème bien spécifique.Concernant l’étude des instruments, de nombreuses questions restent ouvertes aussi bien sur le fonctionnement, sur le rayonnement, sur le type et l’effet du contrôle exercé par le musicien et sur la modélisation en général. Nous envisageons de mettre l’accent lors de ce quinquennal sur la comparaison des modèles d’instruments à vent pour concevoir de nouveaux instruments, réels et virtuels, optimisés suivant plusieurs critères comme la justesse, l’homogénéité, la puissance. Pour cela nous utiliserons des outils, matériels et logiciels, développés précédemment comme la bouche artificielle robotisée ou le logiciel d’aide à la conception d’instruments issu du projet PAFI (ANR Contenus et interactions 2008-2012)Parallèlement, seront poursuivis les différents travaux sur les phénomènes non-linéaires liés aux grands déplacements en utilisant les méthodes de la géométrie différentielle appliquée à la mécanique. La modification par le contrôle actif des propriétés vibratoires des instruments de musique, aussi bien à vent qu’à cordes, laisse entrevoir des possibilités très puissantes pour agir sur la qualité de ces instruments. Cependant de nombreux verrous, à la fois théoriques et techniques, restent à lever pour y arriver. Il est envisagé d’étendre ces modifications au rayonnement des instruments en s’inspirant des études sur les haut-parleurs (Distributed Mode Loudspeakers). Le côté applicatif de nos activités est avant tout musical. Le développement de logiciels de synthèse et d’interfaces de contrôle dédiés spécifiquement à une famille d’instrument est toujours d’actualité dans nos projets. Il en est de même pour l’aide à la diffusion des sources sonores en prenant en compte l’effet du rayonnement. Le graal en synthèse sonore qui serait ne plus distinguer la copie virtuelle d’un instrument de l’original, pour plusieurs modalités, est aussi toujours présent.Un projet d’extension de la synthèse par modélisation physique aux environnement virtuels dynamiques 3D dans le cadre d’un partenariat industriel est aussi envisagé.Contribuer à améliorer et à étendre les possibilités des instruments de musique est l’autre volet du côté applicatif de nos activités.

4.1.1 Projet CAGIMA (Conception Acoustique Globale d’Instruments de Musique à Anche, justes et homogènes)

Il y a dans ce projet (ANR Blanc) plusieurs volets : étude sur le couple musicien/instrument afin de fournir des critères d’optimisation pour la conception et en utilisant la synthèse temps réel comme outil de simulation concevoir des prototypes d’instruments dits « logiques » (clarinette et saxophone) réels mais aussi virtuels. Ce projet repose sur la compétence de plusieurs laboratoires (LMA, UPR CNRS 7051 Marseille, LSPM, UPR CNRS 3407 Villetaneuse), et sur celle du facteur d’instruments Buffet-Crampon (Mantes-la-Ville), l’un des leaders mondiaux pour les instruments à vent.Premier volet : un corpus de clarinettes sera sélectionné sur lequel seront effectué des mesures d’impédance d’entrée, des relevés géométriques et des essais avec des instrumentistes. Pour ces essais, les becs de clarinette seront instrumentés (capteurs de pression dans la bouche, force d’appui sur l’anche, etc.). Les modèles de clarinette sélectionnés varieront de la clarinette historique à 5 clés (1780) à la clarinette moderne (modèle standard et modèle allemand).Les mesures d’impédance permettront de valider les modèles de résonateurs et de trous latéraux munis ou pas de clés qui seront utilisés pour la simulation (cette partie fait suite au projet PAFI).

13

Unité mixte de recherche STMS Ircam-CNRS

Les essais avec les musiciens aideront pour l’identification des défauts des instruments du corpus qui devraient se traduire par des gestes atypiques. Il s’agira aussi de comprendre les stratégies d’adaptation utilisées et de les comparer aux résultats obtenus sans compensation.Deuxième volet : il consistera à optimiser les instruments en fonction de certains critères déterminés auparavant. Pour cela on souhaite utiliser la synthèse temps réel comme outil de simulation. Afin que la simulation et la synthèse deviennent de vrais outils de prédiction, une phase d’évaluation et de calibration des modèles sera nécessaire. Une fois la calibration effectuée, le problème inverse visant à spécifier une géométrie permettant d’atteindre un certain critère – la justesse par exemple – sera alors envisagé. La prise en compte de l’effet de l’excitation (débit d’anche, conduit vocal, etc.) sera dans un deuxième temps envisagé pour l’optimisation. La perce de l’instrument sera cette fois optimisée en s’appuyant non plus sur les fréquences propres du résonateur mais sur la fréquence de jeu de l’instrument.Dans le troisième volet, il s’agira de concevoir des prototypes d’instruments « logiques » et virtuels (clarinette et saxophone) et d’apporter des corrections aux instruments existants.

Une partie du travail de thèse sur la bouche artificielle robotisée, codirigée avec l’équipe A/S (Titre  : Modélisation, asservissement et commande d'une bouche artificielle robotisée pour le jeu des cuivres), sera directement liée à ce projet. Elle consistera à mettre au point un banc de test d'instruments réels. On proposera des protocoles pour quelques « tests clefs » et génération de « cartographies type », par exemple : justesse et relation entre les fréquences de résonance de l'instrument et la fréquence de jeu (effet de la nuance), facilité d'émission (caractérisation numérique de bassins d'attraction), indice d'harmonicité du son en situation de jeu, etc.

4.1.2 Instruments de Musique IntelligentsCe projet se fera dans le prolongement du travail effectué depuis fin 2011 sur les Instruments Actifs (Projet ANR Retour de Post-Doc IMAREV) en collaboration avec l’IJRDA, UPMC Paris et l’Acoustics Research Group, Open University, UK.

Contrôle modalA court terme, plusieurs familles de transducteurs (capteurs et excitateurs) seront modélisées et évaluées selon des critères tels que la qualité du couplage avec l’instrument et la facilité d’intégration. Le nombre et le positionnement des transducteurs seront déterminés grâce à des procédures d’optimisation (ex. algorithmes génétiques) sur des critères d’efficacité acoustique. Les effets du contrôle seront alors étudiés à l’aide d’analyses acoustiques (temporelles et spectrales) ainsi que de tests psychoacoustiques (discrimination et catégorisation). Une fois l’approche validée sur des instruments simplifiés, elle sera étendue à des instruments réels. Une plateforme matérielle et logicielle sera alors développée et transférée aux musiciens souhaitant intégrer ces systèmes dans leurs instruments. Un travail de développement informatique pour les systèmes embarqués temps-réels sera alors nécessaire.Les possibilités d’un contrôle du rayonnement des instruments seront aussi étudiées. En s’inspirant des Distributed Mode Louspeakers, les effets du contrôle sur la directivité des instruments seront mesurés et modélisés.

Contrôle dynamiqueL’approche modale choisie précédemment est fondée sur une conception statique de détermination des gains du contrôleur. Elle est très bien adaptée pour les systèmes linéaires et avec des propriétés mécaniques fixes. Toutefois, les instruments de musique ne respectent aucun de ces deux critères. En effet :

les modes de vibration sont modifiés par les variations d’environnement, de conditions aux limites et le vieillissement des instruments, comme par exemple pour le bois des instruments à cordes,

de nombreuses non-linéarités interviennent dans les instruments de musique, aussi bien dans les vibrations à grande amplitude de certaines percussions (ex. gongs, cymbales) que dans les couplages excitateur-résonateur des instruments à vent.

Dans ces deux cas, le contrôle modal ne sera pas robuste. D’autres méthodes devront alors être développées :

Adaptation aux changements lents : lorsque les caractéristiques modales sont susceptibles d’être modifiées, le contrôle modal perd en efficacité. Une approche de type « semi-adaptative » doit alors être mise en oeuvre, qui permet de garder le formalisme du

14

Projet 2014-2018

contrôle modal tout en réactualisant les caractéristiques de l’observateur dans une phase d’initialisation précédant le contrôle. Lorsque l’instrument est au repos, c’est-à-dire qu’il n’est pas joué, les fonctions de transfert entre capteurs et actionneurs sont mesurées. Les caractéristiques modales sont alors identifiées et réactualisées dans l’observateur. La qualité de l’identification étant déterminante, le choix de l’algorithme se fera selon les contraintes spécifiques à chaque famille instrumentale. Cette approche permettra donc de rendre le contrôle modal plus robuste, en prenant en compte les changements spécifiques à la vie de chaque instrument.

Contrôle de systèmes non-linéaires : le problème ouvert du contrôle de systèmes non-linéaires sera abordé. L’approche choisie sera le contrôle dit « adaptatif », c’est à dire que les paramètres du contrôleur seront modifiés durant la phase de contrôle. L’accent sera mis sur les vibrations non-linéaires. Le formalisme des modes non-linéaires sera utilisé dans le but de créer une extension du contrôle modal dans le cas non-linéaire. Le caractère raidissant ou assouplissant des résonances non-linéaires sera par exemple pris en compte dans la détermination du contrôleur.

ApplicationsCe projet a des applications en lutherie. La qualité d’un instrument pourra être modifiée par un contrôle électronique de ses vibrations en complément des réglages mécaniques. Il aura aussi un intérêt pour la création musicale, plus particulièrement pour la musique mixte. Les traitements informatiques étant rayonnés directement par l’instrument, ce dernier devient une alternative à la diffusion par des haut-parleurs. Une meilleure hybridation des espaces acoustiques et informatiques est ainsi obtenue.

4.1.3 Géométrie différentielle et mécaniqueLa prise en compte des non linéarités de contact et de frottement constitue le fondement de la production sonore. D’autres sources d’excitation (voire de modification) du son, telles que les écoulements, les jets, les grands déplacements ou les grandes rotations, peuvent être envisagées. Nous sommes alors amenés à considérer les phénomènes non linéaires dans un cadre plus général. La simulation sonore des interactions dynamiques est aujourd’hui limitée à des modèles non-linéaires discrets (loi de contact / frottement pour un ensemble discret de points, écoulement en un point, etc.). L’idée est donc d’étendre ces concepts à une étude des phénomènes de non-linéarité liés à la propagation et en particulier aux effets des grands déplacements et grandes rotations en utilisant les méthodes de la géométrie différentielle appliquée à la mécanique. Dans ce contexte, la prise en compte des symétries des systèmes simulés semble être de nature à réduire les temps de calcul sans pallier la qualité et constitue donc un axe de recherche qu’il convient de suivre.

Approche géométriqueL'utilisation de la géométrie différentielle se révèle être un outil très fécond pour les théories de la physique. En fait depuis que Maupertius (aidé d'Euler) postula en 1744 le principe de moindre action 15 jusqu'au concept de "connexion" d'Elie Cartan (1924), l'évolution de la géométrie différentielle est inextricablement liée aux travaux de physiciens et mathématiciens aussi illustres que Lagrange, Jacobi, Hamilton, Riemann, Poincaré, Noether Einstein, et aujourd'hui Marsden ou Arnold. La plupart des équations fondamentales - en mécanique classique, en électromagnétisme, en relativité générale et en théorie quantique des champs - peuvent être formulées à partir de ce principe (indémontrable) de moindre action. A travers la démarche géométrique, ce sont les propriétés intrinsèques des phénomènes (noumènes ?) qui intéressent ces scientifiques indépendamment de tous choix de repères (invariance par changement de systèmes de coordonnées) et c'est cette préoccupation qui confère à leurs théories une dimension universelle.

Géométrie différentielle et acoustiqueBien que l'acoustique soit une des disciplines de la mécanique sa "géométrisation" est encore limitée à quelques domaines (mécanique des fluides, ultrasons, phonons,..). A l'instar de travaux sur la propagation non-linéaire dans les poutres de Reissner, il semble qu'une réappropriation des théories de l'acoustique à travers les concepts de la géométrie différentielle puisse permettre d'appréhender les phénomènes non linéaires dans leurs qualités intrinsèques. Il s'en suit un domaine de recherche

15 L'Action est proportionnelle au produit de la masse par la vitesse et par l'espace. Maintenant, voici ce principe, si sage, si digne de l'Être suprême : lorsqu'il arrive quelque changement dans la Nature, la quantité d'Action employée pour ce changement est toujours la plus petite qu'il soit possible. Maupertuis 1744.

15

Unité mixte de recherche STMS Ircam-CNRS

visant à établir et à résoudre des modèles dynamiques expurgés de toute non linéarité artificielle en tirant partie des propriétés de symétrie sous-jacente par l'utilisation de groupes de Lie.Le contexte de ce sujet de recherche est celui de la propagation non linéaire d’ondes dans des milieux élastiques unidimensionnels formalisé à l’aide du modèle de poutre de Reissner (il est aussi envisagé l’extension de ce modèle dans le cas multidimensionnel). Dans ce contexte, les grands déplacements sont à l’origine des non linéarités géométriques et se formalisent par l’écriture de la dynamique sous la forme des équations d’Euler Poincaré dans l’algèbre de Lie du groupe de symétrie considéré.

Vers une interprétation géométrique des équations du mouvementBien que les équations d’Euler Poincaré puissent être résolues numériquement, il semble plus fructueux de suivre les conseils et la démarche de Louis Poinsot qui dès 1851, reprenant, après Lagrange l’étude de la rotation d’un corps abandonné à lui-même, écrivait :On peut bien, par ces calculs plus ou moins longs et compliqués, parvenir à déterminer le lieu où se trouvera le corps au bout d’un temps donné ; mais on ne voit point comment le corps y arrive : on le perd entièrement de vue ; tandis qu’on voudrait l’observer et le suivre, pour ainsi dire, des yeux dans tout le cours de sa rotation.Ce qui le conduisit à formuler ce qu’on désigne aujourd’hui par le théorème de Poinsot (voir J.E. Marsden, T.S. Ratiu, Introduction to mechanics and symmetry, Springer, 1999.) dont nous ne reportons qu’une partie ici : … vous aurez la représentation exacte du mouvement géométrique que suit le corps en vertu du couple qui l'a frappé dans le plan fixe que l'on considère: et si vous ajoutez que la vitesse angulaire avec laquelle il tourne à chaque instant sur le rayon mené du centre au point de contact, est proportionnelle à la longueur même de ce rayon, vous aurez à la fois le mouvement géométrique et dynamique de ce corps...Ce qui, dans le langage moderne, est exprimé par Arnold sous la forme : Les mouvements eulériens du corps rigide sont les géodésiques du groupe des rotations de l'espace euclidien à trois dimensions, muni d'une métrique invariante à gauche.

SymétrieLa solution proposée par Poinsot s'applique donc à un problème mécanique pour lequel il existe une invariance par rotation. L'ellipsoïde est la représentation géométrique de l'énergie cinétique (la métrique) et le plan invariable sur lequel roule cet ellipsoïde correspond à la conservation du moment cinétique. Le moment cinétique est précisément la fonction moment (momentum map) associée au groupe SO(3), qui témoigne de la symétrie par rotation conformément au théorème de Noether. Notons enfin, que la solution du problème correspond aussi à l’intersection de l’ellipsoïde avec les orbites co-adjointes du groupe SO(3). Dans cet exemple simple, le mouvement du plan tangent à l’ellipsoïde d’énergie peut être envisagé dans le cadre de la théorie des connexions affines d’Elie Cartan et fournit un cadre plus général dans lequel le théorème de Poinsot peut être reconsidéré. Cette identification doit permettre l’étude de systèmes régis par d’autres groupes de Lie16 - autre que SO(3) - et l'extension de la notion de géodésiques au concept de sous variétés auto parallèles constitue l’axe principal du travail de recherche.

Généralisation du concept intrinsèque d'objet modalLorsque la théorie modale est appliquée dans un contexte linéaire, on dispose d'une base de fonctions (modes de vibration) sur lequel le mouvement le plus général peut être décomposé. La simulation numérique de chaque composante permet in fine de construire une synthèse sonore par recomposition. Ainsi, un objet vibrant est en quelque sorte complètement identifié par sa décomposition en modes propres de vibration. Dans un contexte non linéaire cette décomposition n'est plus valide. Peut-on tout même envisager une carte d'identité des objets sonores ? A l'instar des modes non linéaires, dont les modes linéaires apparaissent comme un cas limite, il est raisonnable d'imaginer un formalisme de synthèse sonore fonctionnant sur l'idée d'objets non linéaires vibrants comme une extension du formalisme linéaire bien établi aujourd'hui.

4.1.4 Synthèse par modélisation physique (logiciel Modalys)L’expertise de l’équipe dans le domaine de la synthèse par modélisation physique, illustrée par le logiciel Modalys, a conduit plusieurs fois, dans le cadre de partenariats industriels, à des applications autres que musicales. Cette fois il s’agira d’utiliser ce type de synthèse dans des environnements dynamiques 3D, en temps réel, afin d’augmenter la capacité d’immersion. Ce travail, effectué dans le cadre d’une thèse en partenariat avec le service Recherche de Dassault Systèmes aura comme

16 Cette identification a été réalisée avec succès dans le cadre de mouvement de corps rigide du plan, i.e., pour le groupe SE(2), connu pour être l’un des cas complètement intégrable des mouvement de corps rigides dans l’eau (underwater vehicle).

16

Projet 2014-2018

objectif d’apporter une avancée scientifique et algorithmique significative dans le domaine de la synthèse physique de son en temps réel et d’en démontrer la valeur ajoutée dans un contexte industriel.

Nouvel environnement logiciel dynamiqueLe logiciel est accessible à l’heure actuelle sous deux paradigmes :

Version stand-alone dans un environnement Lisp (Lispworks), pour l’expérimentation et la recherche en temps différé.

Comme « framework » en interaction avec d’autres logiciels pour des types d’utilisation différents : Max/MSP pour la performance temps réel, OpenMusic pour la composition en temps différé et MatLab pour la recherche, en temps différé.

De nouvelles pistes vont être explorées sous trois axes principaux : Elargissement du cadre de l’évolution dynamique des objets Mise à jour de l’environnement logiciel standalone Feedback modal sur instruments réels

Cadre général pour l’évolution dynamique des objetsLes modèles modaux actuellement implémentés dans Modalys rendent compte de vibrations linéaires des objets (cordes, plaques, tubes, membranes, formes complexes en FEM, etc.). En revanche, les interactions entre les objets sont déjà implémentées avec des modèles généralement non linéaires. Il s’agit ici d’élargir le cadre du modèle vibratoire des objets dans avec des techniques issues de la géométrie différentielle et dont le modèle modal serait alors un cas particulier (approximation à l’ordre 1). Voir ci-dessus le paragraphe 4.1.3.

Environnement logiciel stand-aloneAfin d’immerger Modalys dans un environnement technologique de pointe, nous envisageons les options suivantes :

Ouverture de l’environnement stand-alone :o Développement d’un modèle objet en JavaScript pour la création et la description des

objets sonores et de leurs interactions ;o Paradigme visuel reflétant ce modèle utilisant des composants de type WebKit

(connecté directement au code JavaScript) Développement d’un noyau « light » de Modalys prêt à être utilisé sur le web (client léger):

o Implémentation Web Audio / JavaScript / HTML5 ;o Reprend les concepts fondamentaux de Modalys : objets, accès, connexions ;o Forte interaction utilisateur graphique.o N’implémente que l’essentiel du moteur de Modalys avec une visée pédagogique et

démonstrative ;o Modèle Open Source à considérer.

Feedback modal sur instruments réelsOn se propose ici d’étudier l’interaction d’un instrument réel et de son modèle Modalys dans un environnement temps réel. L’idée est de pouvoir agir directement par feedback (capteur/transducteur) sur un instrument en jouant avec les paramètres modaux prédictifs inclus dans le modèle sous Modalys (voir projet Instruments intelligents, paragraphe 4.1.2)

Utilisation des séries de Volterra avec la méthode des éléments finis dans ModalysL’utilisation des séries de Volterra fournit désormais un socle solide pour la simulation à faible coût de systèmes dynamiques faiblement non-linéaires pour des objectifs de synthèse sonore. Ce résultat est une des retombées des travaux de thèse de David Roze. L’idée serait d’adapter cette technique en mécanique des solides, à la simulation de système de géométrie quelconque. Une piste serait de combiner les séries de Volterra à une méthode de calcul utilisant la discrétisation spatiale, par exemple, la méthode des éléments finis.

17

Unité mixte de recherche STMS Ircam-CNRS

4.2 Equipe Espaces acoustiques et cognitifs

4.2.1 Objet et positionnement de la rechercheL‘objet de recherche de l’équipe se développe autour de la notion d’Espace, dans sa manifestation ou sa reproduction sonore ainsi que dans sa réalité perceptive et cognitive. Les deux axes majeurs sont consacrés aux techniques de capture, d’analyse et de reproduction de champs sonores, et à la cognition/perception auditive spatiale en contexte d’interaction multisensorielle. Les disciplines scientifiques respectivement concernées par ces axes sont d’une part, le traitement numérique du signal audio et l’acoustique et, d’autre part, la psychologie cognitive de l’audition et les neurosciences.

L’inscription de l’équipe dans le contexte de la création artistique où les développements technologiques sont envisagés à travers le prisme de leur réception par le sujet humain favorise une approche interdisciplinaire ainsi qu'en témoigne l'intitulé même de l'équipe. Nous attendons de cette double démarche un enrichissement mutuel, sachant que l’étude de la cognition spatiale en neurosciences requiert l'intervention de techniques de rendu perfectionnées tandis que ces techniques peuvent être optimisées en considérant les capacités perceptives du sujet auditeur.

Les recherches relatives aux techniques de spatialisation se concentrent sur les procédés de synthèse s’appuyant sur un formalisme physique du champ sonore. Cet axe relève du traitement du signal appliqué, mais l’objectif est également de fournir des outils de contrôle haut-niveau, exploitant des descripteurs perceptifs appropriés à la composition musicale. Ces techniques de spatialisation audio 3D associées aux dispositifs de captation des mouvements de l’interprète ou de l’auditeur dans l’espace constituent une base organologique essentielle pour aborder les questions « d’interaction musicale, sonore et multimédia ». Elles invitent à une réflexion sur les « fondements cognitifs » liés à la sensation d’espace, notamment sur la coordination entre les différentes modalités sensorielles pour la perception et la cognition de l’espace. Nous désirons mettre en évidence l’importance des processus d’intégration entre les indices idiothétiques et les indices acoustiques utilisés par le système nerveux central pour construire une représentation spatiale de l’environnement perçu. Comparativement à la vision, la modalité auditive est encore peu étudiée dans ses dimensions spatiales, aussi cet axe de recherche se situe-t-il aux frontières de la connaissance. Les applications potentielles concernent le domaine artistique de la danse ainsi que le domaine de la santé avec le développement de dispositifs de réalité virtuelle à visée thérapeutique.

La taille modeste de l'équipe (en moyenne 4 chercheurs, 1 développeur et 2 doctorants), la diversité des thèmes abordés et la volonté d'entretenir un lien privilégié avec la création musicale représentent une difficulté non négligeable pour maintenir une recherche scientifique à la fois rigoureuse, innovante et pertinente pour les applications artistiques. Nous veillerons à augmenter sensiblement le nombre de doctorants et à renforcer les collaborations avec différentes équipes internationales. Ce processus est déjà en œuvre pour l'axe cognitif avec la thèse de Marine Taffou et le lancement récent de deux projets collaboratifs européens. Pour l'axe acoustique, des contacts ont été récemment initiés, principalement sous forme de chercheurs invités, avec différents laboratoires étrangers spécialistes de l'analyse de champ sonore (Univ. Southampton, Austrian Academy of Science, …). Ces collaborations sont stratégiques pour approfondir les connaissances sur les modèles mathématiques avancés tels que les ondelettes de surface et trames d'ondelettes applicables à l'analyse temps-fréquence-espace17,18,19. Dans le domaine du traitement du signal audio, des contacts sont en cours avec différents laboratoires (Ben Gurion University of the Negev, KAIST, …) pour les méthodes de contrôle de champ sonore aux frontières, les méthodes d'optimisation multicanales (MIMO) sous contraintes ou les méthodes de filtrage adaptatif non-linéaire à noyau.Synthèse de champs sonores

4.2.1.1 Synthèse de champ sonore par contraintesDepuis l’année 2001, l’équipe a développé une expertise sur la technique de reproduction basée sur la Wave Field Synthesis (WFS) puis plus récemment sur le formalisme Ambisonique aux ordres élevés (HOA). Les travaux ont concerné les techniques d’égalisation appliquées au contrôle de la localisation et de la directivité des sources virtuelles [Corteel06, Corteel07], l'optimisation des

17 Demanet L. and Vandergheynst P., (2003) Gabor wavelets on the sphere. , Cerebrovascular Diseases.18 Balazs et al. (2006) Double preconditionning for Gabor frames, IEEE Trans. On Signal Processing 54:4597-4610.19 Balazs et al. (2011) Theory, Implementation and Applications of Nonstationary Gabor Frames, in J. Comput. and Applied Mathematics 237, 1481-1496

18

Projet 2014-2018

procédures de décodage HOA [Zotter12] et la caractérisation perceptive de ces modes de restitution [Bertet09, Sanson11]. Au delà des productions scientifiques et de leur exploitation dans les créations musicales, ces travaux se sont concrétisés par l'installation d'un ambitieux dispositif de reproduction composé de 340 haut-parleurs distribués en périphérie de l'Espace de projection et associés à un ensemble de processeurs (voir partie bilan).

Nous entendons tirer parti de cet équipement pour initier un travail de recherche scientifique et musical sur le contrôle de champ sonore par contraintes. L'idée est de synthétiser des champs sonores présentant des propriétés particulières comme la présence de zones « d'ombre » ou de « sur-brillance » acoustique en s'appuyant sur les techniques d'optimisation MIMO sous contraintes20

appliqués à un ensemble de transducteurs situés en périphérie des zones à contrôler. Sur le plan scientifique ce problème s'apparente également au filtrage adaptatif et au contrôle actif21,22. Sur le plan musical cette démarche peut être rapprochée du travail du compositeur Rama Gottfried avec lequel nous avons entamé une collaboration en 2012.

4.2.1.2 Analyse/Synthèse haute-résolution du rayonnement des sourcesL’analyse et la synthèse du rayonnement des sources sonores fait l’objet de recherches menées en collaboration avec l’équipe Acoustique Instrumentale. Elles ont notamment abouti au développement de la Timée, dispositif de synthèse du rayonnement s’appuyant sur le formalisme des harmoniques sphériques pour contrôler le rayonnement d’un réseau tri-dimensionnel de transducteurs [Misdariis 01, Warusfel 04]. Nous avons repris et adapté ce même principe pour la synthèse de la directivité des sources virtuelles en WFS [Corteel 07]. Ces travaux ont été depuis étendus dans différents laboratoires (CNMAT, IEM, LMA, BGU) notamment sur le plan des procédures de traitement du signal associées. Nous désirons donner une nouvelle impulsion à ces recherches à l’IRCAM en tirant parti des évolutions technologiques et scientifiques. En particulier, la disponibilité de moyens de conversion et de transmission audio-numérique massivement multi-canal permet d’envisager le développement de dispositifs de capture et de reproduction haute résolution, basés sur l’utilisation d’un nombre élevé de transducteurs. Ces travaux s’appuieront sur des mesures anéchoïques du rayonnement des instruments de musique et de la voix, et sur le développement de méthodes d’analyse utilisant les harmoniques sphériques ou sphéroïdales comme descripteurs et permettant un suivi spatio-temporel des partiels [Noisternig11]. Sur le plan musical, l'idée est d'identifier les dépendances entre directivité et modes de jeu instrumentaux ou vocaux de sorte à co-articuler ces paramètres dans les processus de synthèse sonore. Ce travail fera l’objet d’une collaboration avec le LIMSI, autour de l'analyse/synthèse du rayonnement de la voix parlée ou chantée.

4.2.1.3 Synthèse/contrôle de l’effet de salle par modèle physique et perceptif La synthèse de l’effet de salle a fait l’objet de nombreuses recherches au cours des dernières décennies. La plupart des réverbérateurs commerciaux recourent au principe de réseaux de retards rebouclés qui représente une méthode efficace pour simuler les propriétés statistiques de la réverbération tardive. Au cours des années 90, l’IRCAM a développé la librairie de spatialisation temps réel Spat~ [Jot 97], exploitant ce principe et le dotant d’un modèle de contrôle perceptif dont l’intérêt pour les applications musicales ne s’est pas démenti.Grâce à l’augmentation de la puissance de calcul et au développement d’algorithmes de convolution rapide sans latence (Gardner 95), une nouvelle génération de réverbérateurs ou de plugins est apparue (Sony DRES777, Vienna MIR, etc.). Ceux-ci exploitent directement des réponses impulsionnelles mesurées dans des salles (RIR), ce qui garantit a priori une qualité « naturelle » des effets de réverbération reproduits. En contrepartie, l’absence d’un modèle de contrôle associé conduit à augmenter considérablement la base de données de RIR, selon le dispositif de prise de son, sa position et son orientation dans la salle.Nous proposons de développer une approche hybride couplant un réverbérateur basé sur une convolution multicanal avec un paramétrage de type perceptif tel qu’utilisé dans le Spat~. La démarche consiste à exploiter une collection de réponses impulsionnelles directionnelles (DRIR) mesurées par un réseau de microphones sphérique et à fournir une série de traitements permettant de moduler ces réponses selon différentes dimensions. L’accent est mis sur le paramétrage des indices spatiaux, que ceux-ci se réfèrent à des déplacements géométriques des sources ou de

20 Choi J-W., Kim Y-H., (2002) Generation of an acoustically bright zone with an illuminated region using multiple sources, JASA 111(4):1695-170021 Epain N. and Friot E., (2007) Active control of sound inside a sphere via control of the acoustic pressure at the boundary surface. Journal of Sound and Vibration, 299(3):587–604.22 Rafaely B. (2009), Spherical loudspeaker array for local active control of sound. JASA 125(5):3006-17

19

Unité mixte de recherche STMS Ircam-CNRS

l’auditeur (en azimut et en distance), à leur orientation respective (simulation de directivité) ou à tout autre modification perceptive (e.g. angle des réflexions, largeur apparente des sources, enveloppement). La méthode repose en premier lieu sur l’extraction de descripteurs spatiaux-temporels à partir des DRIR et sur le développement de différents opérateurs de transformation spatiale (modification de la distribution temps-fréquence-espace).

4.2.1.4 Caractérisation acoustique en situation de mobilité et non superviséeL’analyse de l’environnement sonore est un domaine de recherche en expansion grâce notamment au recours à des réseaux denses de microphones, tels que les réseaux sphériques23,24 qui permettent une analyse fine de la direction d’incidence des sources ou des réflexions qui composent la scène sonore25. Les principaux domaines d’application sont, d’une part, la séparation de sources sonores notamment pour l’audition des robots, d’autre part, la captation et la reproduction de scènes sonores ou de réponses impulsionnelles spatialisées.

Pour les applications de caractérisation du champ sonore, celle-ci se base généralement sur l’utilisation de signaux de mesure calibrés. De leur côté, les algorithmes de séparation de sources basés sur un réseau de capteurs supposent une connaissance a priori de la configuration géométrique des capteurs ou des voies qui ont été préalablement formées26,27. Cependant, l’explosion des usages basés sur des dispositifs mobiles suggère la recherche et le développement de méthodes de caractérisation acoustique capables de mesurer en permanence l’environnement acoustique dans lequel ils évoluent et d’inférer des connaissances sur leur répartition spatiale à partir de l’analyse des sources sonores en présence. Dans ce travail, l’accent est donc mis non pas sur l’optimisation de l’extraction de sources mais sur l’autodétermination des caractéristiques acoustiques d’un réseau de capteurs et de l’environnement dans lequel il évolue. Dans ce contexte, la mobilité du réseau représente un atout puisque le système peut accumuler en permanence de nouvelles connaissances sur son environnement et sur son propre comportement acoustique.

4.2.1.5 Technologies binauralesLe mode de restitution binaural constitue toujours la seule technique de référence pour l’étude sur la perception et la cognition spatiale auditive. Elle seule permet de reproduire de manière exacte l’ensemble des indices acoustiques responsables de la localisation auditive. Par ailleurs, l’évolution des pratiques d’écoute, à travers l’usage des smartphones et la démocratisation des applications réalité virtuelle interactive privilégie l’écoute binaurale sur casque. Grâce à sa capacité incomparable d’immersion sonore, l’écoute binaurale devient le premier vecteur d’écoute tridimensionnelle, qu’il s’agisse d'accéder à la musique de manière générale ou de renforcer l’expérience radio ou télévisuelle dans le cadre d’une consommation en mobilité. Nous entendons saisir cette convergence d'objectifs ainsi que l'intérêt manifesté récemment par différents acteurs industriels nationaux (radio, télévision, cinéma, télécommunication) pour poursuivre cet axe de recherche dans lequel le laboratoire a acquis une solide expertise [Jot95 ; Larcher2001; Pollow2012]. L'enjeu majeur reste le développement de solutions d’individualisation des HRTFs fiables sans recours aux mesures acoustiques en environnement contrôlé. En nous associant à différents laboratoires de recherche nationaux (LIMSI, Orange Labs), nous explorerons notamment les approches basées sur les méthodes de sélection guidée s'aidant de paramètres morphologiques28, de modélisation physique29

ou de mesures simplifiées30,31. Nous exploiterons également les résultats du travail sur la caractérisation acoustique en situation de mobilité décrit au paragraphe précédent et pour lequel l'identification en aveugle de HRTFs représente un cas d'application emblématique.

23 Zotkin D.N. et al., (2010), Plane-wave decomposition of acoustical scenes via spherical and cylindrical microphone arrays, IEEE Trans. ASLP, 18 :2-1824 Rafaely, B. (2005), Analysis and design of spherical microphone arrays, IEEE Trans. ASP, 13(1), 135-143.25 Sun H., Kellermann W., Mabande E., Kowalczyck K., (2012) Localization of distinct reflections in rooms using spherical microphone array eigenbeam processing, JASA, 131(4), 2828-4026 Comon, P., Jutten, C., (2010) Handbook of Blind Source Separation, Independent Component Analysis and Applications. Elsevier, 2010.27 Maazaoui, M., Abed-Meraim, K., Grenier, Y., (2012) Blind source separation for robot audition using fixed hrtf beamforming. EURASIP Journal on Advances in Signal Processing, 2012.28 Xu S. et al., (2008) Improved method to individualize head-related transfer function using anthropometric measurements, Acoustical Science and Technology, 29, 388-39029 Kahana Y., Nelson P.A., (2007), Boundary element simulations of the transfert function of human heads and baffled pinnae using accurate geometric models, Journal of Sound and Vibration, 300, 552-579.30 Zotkin D.N. et al., (2006), Fast head-related transfer function measurement via reciprocity, JASA 120, 2202-15.31 Ajdler, T., Sbaiz L., and Vetterli, M., (2007) Dynamic Measurement of Room Impulse Responses using a Moving Microphone, Journal of the Acoustical Society of America, Vol. 122, Nr. 3, 2007.

20

Projet 2014-2018

4.2.2 Interaction multisensorielle / cognition spatialeNous nous attachons dans cet axe à comprendre le rôle spécifique de l’audition au sein du système de repérage spatial utilisé par l’être humain. Cette approche tente de prendre en compte la nature adaptative et multisensorielle des mécanismes mis en œuvre par le système nerveux central pour intégrer les informations spatiales acoustiques.

4.2.2.1 Interaction audition – corps – espace

4.2.2.1.1 Cognition spatiale et auditionEn 1971, O'Keefe et Dostrovsky ont mis en évidence l'existence de cellules de lieu dans l'hippocampe du rat. Une population de telles cellules décharge lorsque l'animal se trouve à une position spécifique de l'environnement. Lorsque le rat se déplace, cette population de cellules précédemment active devient inactive et une autre population de cellules de lieu précédemment inactive devient active. Pour cette raison, John O'Keefe et Lynn Nadel (1978) ont proposé que l'hippocampe joue un rôle de carte cognitive et il a également été mis en évidence que la formation hippocampique est une structure majeure du système de navigation humain.Il a été suggéré que les cellules de lieux sont contrôlées par les déterminants géométriques distants, et non par des bornes de petite taille placées à l’intérieur de l’arène expérimentale, dans l’espace proximal au sujet. A l’opposé, des représentations allocentriques sont construites automatiquement pour des indices distants et de grande taille. Ainsi, puisque l’audition est principalement vouée à détecter des indices de l’espace distant (à l’opposé d’indices proximaux, autour du corps), nous émettons l’hypothèse que contrairement à la vision, l’audition est une modalité sensorielle permettant un accès automatique à une représentation allocentrique de l’espace. Il est possible que la nature de l’audition soit liée à un encodage complètement différent que ceux que l’on envisage traditionnellement pour décrire les autres encodages sensoriels. Nous étudierons le rôle de la composition de la scène sonore (nombre de sources), le rôle des différents indices acoustiques et leur intégration avec les modalités sensorielles idiothétiques (cohérence du flux acoustique, cohérence des indices de distance acoustique et des indices idiothétiques, …) dans la perception et la cognition de l’espace. Les résultats de ces expériences permettront également d’étudier les aspects multisensoriels de la mémoire spatiale. De nombreux travaux indiquent que plusieurs représentations du même environnement seraient disponibles en mémoire, et que chaque représentation reposerait sur un cadre de référence intrinsèque, basé sur la modalité sensorielle dans laquelle l’apprentissage a eu lieu32 (Yamamoto and Shelton 2005). Nous étudierons dans quelles mesures l’homme peut construire une carte cognitive spatiale sur la seule base d’indices idiothétiques et auditifs.

4.2.2.1.2 Perception et actionPour percevoir l’espace auditivement, l’homme utilise les mouvements propres de son corps. Les mouvements de la tête et du corps permettent d’échantillonner l’espace acoustique tout en fournissant la sensation proprioceptive correspondante. Ainsi, le système nerveux central met en relation différents référentiels de coordonnées spatiales (tête, corps entier…) pour pouvoir utiliser efficacement les indices acoustiques.Les liens entre perception et action sont principalement abordés par l’investigation du rôle des informations visuelles dans le contrôle de l’action. Tout un courant d’études se concentre en particulier sur le pointage manuel vers des cibles visuelles. Les questions posées sur la coordination visuo-manuelle ne l’ont jusqu’à présent pas été sur la coordination auditivo-manuelle. Notre objectif sera de décrire les mécanismes par lesquels un input auditif est transformé en une commande motrice. Dans ce but, nous considérerons les différents problèmes que le système nerveux doit résoudre pour générer un mouvement vers une cible sonore : la localisation de la cible auditive, la définition de l’état initial de l’appareil moteur et la formation de la trajectoire du membre effecteur vers la cible auditive. Nous nous intéresserons également à la coordination auditivo-motrice pour le contrôle des membres inférieurs lors de la marche. Nous étudierons en particulier le rôle des indices acoustiques sur le contrôle de la marche, en envisageant des applications pour la réhabilitation du contrôle de l’équilibre. Ces études seront menées en collaboration avec l’équipe IMTR.

4.2.2.1.3 Technologies et applications

32 Yamamoto N & Shelton AL. (2005). Visual and proprioceptive representations in spatial memory. Mem Cognit. 33, 140-50.

21

Unité mixte de recherche STMS Ircam-CNRS

Nous exploiterons les technologies de restitution audio3D et de capture du mouvement existantes, dans leurs développements les plus récents, et explorerons le potentiel de la modalité d’interaction audition/corps/espace à travers des scénarios pouvant s’appliquer aussi bien au domaine de la santé qu’à différents domaines artistiques. Un des enjeux sera d’élaborer un répertoire de modes d’interaction sur la base de règles de mise à jour du monde sonore en fonction des mouvements de l’utilisateur, puis d’en évaluer la pertinence, du point de vue de la perception et de la cognition spatiale, dans divers contextes applicatifs.Les applications relevant du domaine artistique concernent principalement l’interaction son/espace et corps pour la danse. Cet axe sera mené en collaboration avec l’équipe IMTR. Les applications relevant du domaine de la santé concernent en premier lieu le traitement des acouphènes (poursuite du projet REVA mentionné dans la partie Bilan) et le traitement des phobies (poursuite du projet VERVE mentionné dans la partie Bilan).

4.2.2.2 Intégration multisensorielle et émotionLes relations entre émotions et intégration multisensorielle ont rarement été étudiées chez l’Homme. Chez l’animal, les réactions émotionnelles ont déjà été utilisées comme mesure biologique de la réaction à un stimulus bimodal dans lequel la modalité auditive et la modalité visuelle sont en conflit (Narins et al, 2005)33. Quand un modèle électromécanique de grenouille délivre simultanément des indices visuels (gonflement du sac vocal) et auditifs (appel d’avertissement), un comportement agressif est élicité chez la grenouille observant ce modèle. Avec l’introduction d’une forte disparité spatiale entre les indices visuel et auditif, l’attention de l’animal est progressivement capturée par le stimulus auditif, et la réaction agressive de la grenouille disparaît. Il est possible d’émettre l’hypothèse que les conflits visuo-auditifs amoindrissent la réaction émotionnelle à la perception d’objets réalistes. Si cette hypothèse peut être vérifiée, l’utilisation de conflits visuo-auditifs pourrait constituer un outil puissant pour manipuler la réaction émotionnelle de patients dans des applications à visée thérapeutique, comme dans les thérapies en réalité virtuelle.Nous souhaitons donc développer l’axe de recherche sur l’intégration multisensorielle pour le traitement d’objets auditifs en y intégrant la dimension émotionnelle. En premier lieu, nous nous concentrerons sur les effets de conflits spatiaux entre le son et la vision sur la réaction émotionnelle de sujets sains. Nous testerons si le ventriloquisme spatial interfère avec la réaction émotionnelle face à un évènement anxiogène, telle qu’elle est classiquement testée dans les variations émotionnelles du paradigme de Posner34. Notre objectif sera d’identifier si les temps de réaction sont modulés par la relation spatiale entre les indices visuels et auditifs de distracteurs à valence émotionnelle négative. Nous regarderons ensuite s’il existe des associations spécifiques entre les différents compartiments de l’espace et la perception émotionnelle. Nous avons pu par exemple constater que les stimuli auditifs provenant de l’hemi-espace arrière sont perçus comme particulièrement agressifs35. De plus, l’étude de patients neurologiques suggère que les stimuli provenant de l’hemi-espace gauche sont perçus plus négativement que les stimuli provenant de l’hemi-espace droit36. Nous analyserons systématiquement le traitement émotionnel lié aux différentes portions de l’espace et étudierons si celui-ci est comparable s’il s’agit d’un stimulus purement auditif ou multisensoriel.

33 Narins PM, Grabul DS, Soma KK, Gaucher P & Hödl W. (2005) Cross-modal integration in a dart-poison frog. Proc Natl Acad Sci,102(7):2425-9.34 Posner MI (1980). Orientation of attention. Quarterly Jounral of Experimental Psychology, 32 :3-2535 Suied C, Drettakis G, Warusfel O, Viaud-Delmon I. (in press) Auditory-visual virtual reality as a diagnostic and therapeutic tool for cynophobia, J. Cybertherapy and Rehabilitation.36 Mollet GA, Harrison DW, Walters RP, Foster PS. (2007) Asymmetry in the emotional content of lateralised multimodal hallucinations following right thalamic stroke. Cogn Neuropsychiatry,12(5):422-36.

22

Projet 2014-2018

4.3 Equipe Perception et design sonores

Au cours du projet UMR 2014-2018, l‘équipe PDS poursuit ses trois principaux axes de recherche qu’elle aborde en partie sous le nouvel angle de l’interactivité et de la temporalité.

Le thème principal relatif à la perception et la cognition des sons environnementaux est poursuivi à la lumière de la dimension temporelle des sons étudiés. En effet, selon la théorie de l’information, ce sont les transitoires – plus que les états stationnaires – qui portent une grande partie de l’information et jouent un rôle important dans le processus de perception des sons. Le décours temporel de sons environnementaux est donc essentiel aux processus d’organisation et d’identification des événements sonores [Houix12a]. Suivant le focus attentionnel il peut être considéré à différents niveaux de granularité : de quelques millisecondes pour la hauteur et le timbre, à quelques secondes pour la durée et le rythme d’un événement, et jusqu’à plusieurs dizaines de secondes lorsqu’il s’agit d’une scène sonore (espace cognitif).Dans le cadre de cette thématique principale, la question du décours temporel constituera donc un fil rouge pour l’étude de ce type de sons. En complément des travaux sur l’identification des sons environnementaux par l’étude de l’organisation perceptive de nouvelles catégories (p. ex., sons de liquide) et l’exploration de nouveaux paradigmes exploitant les imitations vocales ou gestuelles, il s’agira de mener, dans un premier temps, des études expérimentales pour décrire ces mêmes sons en termes de profils temporels et de percepts auditifs associés (sonie), d’unités temporelles signifiantes correspondant à un événement, et de schémas cognitifs produits par un contexte sémantique. Il s’agira ensuite, dans un second temps, de modéliser certains processus temporels révélés par les études expérimentales concernant la perception des sons environnementaux à différents niveaux de granularité temporelle.

Le deuxième thème concerne les applications en design sonore qui sont articulées avec les recherches menées sur la perception des sons environnementaux depuis la création de l’équipe. Les travaux sur ce thème seront poursuivis dans le domaine du design sonore pour les IHMs, ainsi que dans le champ du design sonore interactif notamment sur la question de l’apprentissage sensori-moteur par rapport à la manipulation d’objets ou d’interfaces sonores dans différents domaines comme le design d’objets augmentés ou l’activité sportive. En outre, la question de l’impact de l’esthétique sonore sur l’usage sera posée et étudiée. Ces travaux trouveront des applications dans le domaine industriel avec lequel l’équipe mène régulièrement des collaborations.

Le troisième thème, consacré à l’élaboration d’outils pour le design sonore, développera, d’une part, l’idée de l’imitation vocale (ou gestuelle) comme support pour une esquisse sonore, et d’autre part, la notion du contrôle perceptif de la synthèse sonore. Le développement de ces idées sera fondé sur les résultats principalement issus de l’étude perceptive des sons environnementaux.

Enfin, plus généralement, l’activité de l’équipe peut se qualifier de la manière suivante :• la pluridisciplinarité et l’approche originale du projet de recherche en design sonore – réalisant, à sa mesure, une certaine convergence entre art et science – sont parmi ses points les plus forts ;• l’effectif réduit et la composante applicative associés à cette même pluridisciplinarité – qui peut desservir le fondement d’un cadre théorique fort – forment ses principaux points faibles, néanmoins limités grâce à une démarche de collaboration dans de nombreux domaines ;• la définition même de la thématique – le design sonore peut être considéré de manières très différentes, voire contradictoires – représente le principal enjeu de l’équipe lié à la réalisation de son projet, qu’elle relève en développant son propre programme scientifique de recherche en design sonore basé notamment sur un apport méthodologique formel.• l’émergence du domaine du design sonore interactif lié à ceux des Interfaces / Interactions Homme-Machine – pouvant aller jusqu’à celui de la robotique – constitue une possibilité de développement réel et cohérent de ses ambitions.

4.3.1 Perception et cognition des sons environnementaux

4.3.1.1 Identification

4.3.1.1.1 Catégories perceptives des sons environnementauxLes travaux antérieurs de l’équipe ont permis de montrer que l’organisation perceptive des sons environnementaux correspond à trois grandes classes d’état (solide, liquide, gaz). Un niveau plus spécifique, correspondant aux sous-classes, concerne le type d’action mis en jeu pour chacune des grandes classes [Houix12a]. Ces sous-classes ont été révélées pour les solides. La catégorie "liquide" se distinguent perceptivement des autres même pour des interactions hybrides (solide/liquide)

23

Unité mixte de recherche STMS Ircam-CNRS

[Houix12a] ; le travail sera poursuivi avec cette classe en caractérisant perceptivement et acoustiquement les différentes types d’interactions (liquide/liquide, liquide/solide, …). Des modèles de synthèse sonore sont maintenant disponibles pour ce type d’événement (p. ex., Zheng et James, 2009)37 et doivent être confrontés à la perception des sons naturels. Deux classes d’événements sonores seront plus particulièrement traitées : bulles et écoulements, continus et discontinus. L’un des buts de cette recherche sera la caractérisation acoustique de ces phénomènes. Une étude montre que la perception des sons de liquide (écoulement) est notamment liée à la répétition de structures spectro-temporelles dans le son quelque soit la vitesse d’écoulement (Geffen, 2011)38. Ces travaux pourront avoir des retombées au niveau fondamental et appliqué (contrôle de la synthèse sonore).

4.3.1.1.2 Imitations vocales et gestuelles des sons environnementauxUne approche, de type signal, fondée sur la production et l’analyse d’imitations vocales a permis de confirmer l’hypothèse selon laquelle l’information suffisante et nécessaire pour élaborer la représentation perceptive d’un événement sonore est accessible à partir de son imitation vocale [Lemaitre11a]. Ces travaux ont aussi montré que dans un contexte de conversation, les sujets utilisent spontanément et très souvent des imitations vocales et gestuelles pour décrire un son [Dessein08a]. Une imitation gestuelle correspond à la production du son lorsqu’il est bien identifié, en revanche elle est guidée par les contours du son lorsque celui-ci est mal identifié [Caramiaux11a]. Dans la continuité de ces travaux, il s’agira de révéler et de décrire des catégories gestuelles en termes de contours temporels et de modes de production. Finalement, les résultats obtenus montre que les participants sont capables d’extraire et de reproduire un minimum d’information – une esquisse – permettant ainsi la reconnaissance des événements sonores imités. Ces résultats ouvrent d’importantes perspectives pour comprendre les processus d’identification de sources sonores et pour le développement d’outils en design sonore (voir § Outils pour le design sonore). Une collaboration sera poursuivie sur ce sujet avec l’Université de Venise IUAV (D. Rocchesso) et l’équipe IMTR (Ircam) afin de répondre à un appel à projets (ANR ou FET) pour d’obtenir un financement dans la période 2014-2018.

4.3.1.2 Description

4.3.1.2.1 Sonie des sons non stationnairesL’objectif est ici de poursuivre les travaux sur la sonie des sons crescendo et decrescendo et de les étendre à d’autres catégories de profils non stationnaires. De nombreux travaux (p. ex, Pastore et Flint, 2011)39, ont été consacrés à l’asymétrie en sonie et en durée entre crescendo et decrescendo. Les résultats récents de l’équipe [Susini07a,10a,11b] [Vannier12a] montrent que les processus perceptifs mis en jeu pour l’évaluation de la sonie de sons crescendo et decrescendo sont différents. La sonie de sons crescendo est fortement dépendante du niveau de fin ; ce qui correspondrait à un processus d’intégration de la fin du signal dont la taille et la forme de la fenêtre restent à préciser. Par contre, les processus d’évaluation de la sonie des sons decrescendo restent à élucider. Par ailleurs, notamment Oberfeld et Plank (2011)40 ont révélé des patterns de pondération de l’énergie pour des sons stationnaires qu’il sera pertinent de révéler pour des sons crescendo et decrescendo en vu de développer un modèle de prédiction de la sonie pour ces signaux. Ces travaux seront menés en collaboration avec le LMA (projet ANR LoudNat), et poursuivis jusqu’en 2018 en abordant d’autres profils de sons non stationnaires comme les trains d’impulsions ; nous nous intéresserons notamment aux effets de masquage inter-impulsions dans le processus d’intégration temporelle de la sonie.

4.3.1.2.2 Descripteurs morphologiquesCe sujet qui s’inscrit dans la thématique de la description des sons environnementaux, part de l’idée de base notamment émise par Wanderley (1999)41 que « tout geste effecteur influence directement les caractéristiques du son produit ». Cette influence peut aussi se traduire en termes de geste intrinsèque au son traduisant la dynamique qui sous-tend les mécanismes de production sonore. L’hypothèse alors faite est que cette relation geste/son permet d’accéder à une description morphologique du signal sonore comme le propose, p. ex., les « objets sonores-gestuels » de Godøy

37 C. Zheng and D. L. James, Harmonic Fluids. ACM Transaction on Graphics (SIGGRAPH 2009), 28(3), August, 200938 Geffen MN, Gervain J, Werker JF, Magnasco MO. Auditory perception of self-similarity in water sounds. Frontiers in Integrative Neuroscience. 2011; 5.39 R. Pastore and J. Flint, Magnitude judgments of loudness change for discrete, dynamic, and hybrid stimuli. 2011, Attention, Perception, & Psychophysics, 73(3), 886-907.40 D. Oberfeld and T. Plank, The temporal weighting of loudness: effects of the level profile. 2011, Attention, Perception, & Psychophysics, 73(1), 189-208.41 M. Wanderley, Contrôle gestuel de la synthèse sonore, Interfaces Homme-Machine et Creation Musicale, sous la direction de H. Vinet et F. Delalande, pp. 145-164, Paris, 1999, Hermes Science Publications

24

Projet 2014-2018

(2006)42. A la suite de 2 projets (Ecrins, [Deruty01] et SampleORchestrator, [Minard08]) qui ont partiellement exploré ce domaine, nous nous intéressons donc à consolider nos connaissances en matière de description morphologique en tentant de répondre, entre autres, à des questions du type : quelles classes de profils (natures, formes) permettent de structurer notre perception des sons environnementaux ? Quelles combinaisons de descripteurs acoustiques (séries temporelles) permet de décrire cette structure perceptive ? Ce travail pourra par ailleurs être associé à l’environnement MOSEQ (MultiObjective Spectral Evolution Query) développé notamment par P. Esling (RepMus, Ircam) [Esling11a], comme dans le cas du premier travail exploratoire sur le sujet [Koliopoulou12a].

4.3.1.2.3 Unités temporelles signifiantesNos travaux se sont focalisés sur la perception et la cognition des événements sans référence à un contexte sonore : p.ex., une séquence sonore constituée d’événements sonores structurés temporellement ou une scène sonore avec un agencement spatio-temporel. L’effet du contexte est de différentes natures suivant le niveau de compréhension : événement, séquence et scène sonores. Des études montrent que, dans le cadre d’une séquence sonore, le contexte ne donne pas une meilleure identification des événements sonores la constituant que lorsqu’ils sont présentés de façon isolée (Ballas, 1991)43. Dans le cadre d’une scène sonore, un son incongru au contexte de la scène est mieux identifié qu’un son cohérent, en fonction du rapport signal/bruit (Gygi, 2011)44. De plus, des études ont montré que les auditeurs ne détectent pas forcément un changement – change deafness – dans une scène sonore (ajout ou suppression d’un son) même si cet effet peut être modulé suivant les caractéristiques acoustiques (fréquence, périodicité) (Snyder, 2011)45. Ce résultat n’indique pas que les événements sonores n’ont pas été encodés en mémoire, l’incapacité se situant au niveau de la comparaison. Nos travaux s’orientent sur la compréhension de séquences sonores dans une scène sonore dont le contexte sera manipulé. Sur la base des paradigmes expérimentaux utilisés dans le domaine du change deafness, nous étudierons l’impact des facteurs sémantiques / acoustiques de ces événements sur la perception et cognition de la scène.

4.3.1.3 Modélisation

4.3.1.3.1 Modèle de sonie des sons non stationnairesL’objectif est ici de développer un modèle de sonie pour chacune des catégories de profils de sons environnementaux. L’indicateur physique usuel pour rendre compte du niveau acoustique de ce type de sons est la mesure du Leq en dBA. Les travaux menés sur la sonie ont permis de développer plusieurs modèles pour les sons stationnaires (ISO 532-A, ISO 532-B, ANSI S3.4-2005), et les sons non stationnaires (Glasberg et Moore,2002)46 permettant notamment une estimation de la sonie globale. Cependant, la sonie globale est influencée par différents facteurs cognitifs, non pris en compte dans les modèles existants. Récemment, Coensel et al. (2009)47 ont développé un modèle de perception des sons environnementaux intégrant des facteurs cognitifs comme l’attention et l’habituation. Par ailleurs, il a été montré que le profil dynamique, notamment la distribution temporelle de l’énergie, a un effet sur le jugement de sonie globale. L’équipe poursuivra les recherches menées sur la sonie des sons non stationnaires en développant des modèles spécifiques pour les différentes catégories de profils de sons environnementaux : crescendo, decrescendo, train d’impulsions, … Les modèles intégreront, d’une part, les effets de mémoire à court terme, et d’autre part, les effets cognitifs. Ces travaux seront menés en partie dans le cadre du projet ANR LoudNat (2011-2015). Une extension de ces travaux à partir de 2018 visera à considérer des scènes sonores multi sources.

4.3.1.3.2 Classification automatique, analyse de scènes auditivesDans le cadre de sa contribution au projet HOULE (2011-2014), coordonné par M. Lagrange (A/S, Ircam), l’équipe s’intéresse aux processus d’analyse, de structuration et de modélisation des scènes sonores composées de sons environnementaux. Dans le champ de l’analyse computationnelle de scènes auditives (CASA), cette orientation semble pertinente tant sur le plan théorique – notamment vis-à-vis des travaux de Gygi (2007)48 – qu’applicatif, p. ex. dans le domaine de la simulation de

42 R. I. Godøy, « Gestural-sonorous objects: embodied extensions of Schaeffer’s conceptual apparatus ». Organised Sound, 11(02) p.149–157 (2006)43 Ballas JA, Mullins RT. Effects of context on the identification of everyday sounds. Human Performance. 1991;4:199-219.44 Gygi B, Shafiro V. The incongruency advantage for environmental sounds presented in natural auditory scenes. Journal of Experimental Psychology: Human Perception and Performance. 2011;37(2):551.45 Snyder JS, Gregg MK. Memory for sound, with an ear toward hearing in complex auditory scenes. Attention, Perception, & Psychophysics. 2011;1-15.46 B.R. Glasberg and B.C. Moore, A model of loudness applicable to time-varying sounds. 2002, J. Aud. Eng. Soc., 50, 331-342.47 B. De Coensel, D. Botteldooren, T. De Muer, B. Berglund, M.E. Nilsson, P. Lercher, A model for the perception of environmental sound based on notice-events. 2009, J. Acoust. Soc. Am.,126, 656-665.48 B. Gygi, Similarity and categorization of environmental sounds, Perception & Psychophysics 2007, 69 (6), 839-855

25

Unité mixte de recherche STMS Ircam-CNRS

scènes sonores (Aucouturier, 2009)49. Sur la base des travaux effectués au sein de l’équipe par J. Tardieu dans des espaces publics de gare [Tardieu06d], nous nous intéresserons donc à comprendre et à modéliser les phénomènes d’identification des éléments sonores unitaires composant une scène en prenant notamment en compte leurs caractéristiques temporelles et les mécanismes d’association à plusieurs niveaux qui peuvent s’opérer dans ces processus (structure perceptive hiérarchique). A plus long terme, nous nous intéresserons également à l’aspect sémantique d’une scène sonore en tentant de répondre à une question du type : comment la qualification d’une scène s’effectue-t-elle à partir de la signification des quelques éléments perceptivement saillants ?

4.3.2 Design sonore et interactionLa notion d’interaction (ou d’interactivité) dans le design, et a fortiori dans le design sonore, implique de penser le scénario ou la forme de la relation qui s’instaure entre les éléments d’un système (p. ex. dispositif+agent) ou bien entre le système et son contexte (agents extérieurs, environnement). La prise en compte de cette relation, de nature principalement informationnelle, débouche sur deux aspects complémentaires : le design d’interface qui traite des moyens mis en œuvre pour établir cette relation (écran, interface numérique, …) et le design d’interaction qui s’intéresse à la manière utilisée pour concevoir cette relation (métaphore, comportement, …).

4.3.2.1 Design d'interfaceDans le domaine du sonore, cette question de l’interface peut être associée de manière relativement intuitive à la thématique de la signalétique et plus largement, à celle de la sonification, le cas échéant interactive, qui s’intègre dans le champ des Auditory Display et sa communauté référente, ICAD (www.icad.org). Dans la lignée du projet d’étude sur la signalétique de navigation « à l’aveugle » dans des structures hiérarchiques virtuelles [Langlois10a] qui a fait l’objet d’une extension méthodologique mettant en œuvre des mesures oculométriques de détournement du regard, nous continuerons à nous intéresser à l’étude en contexte des principaux paradigmes de signalétique sonore (earcons, auditory icons, musèmes), ainsi qu’à de nouvelles formes qui semblent émerger de travaux récents (p. ex., morphological earcons de Parseihian et Katz (2011)50. Par ailleurs, cet axe de recherche est susceptible d’alimenter une thématique inter-équipes coordonnée par M. Andreatta, (RepMus, Ircam), sur la sonification/musification structurelles des données, à partir de l’idée que la théorie musicale peut fournir un cadre formel et des règles de correspondance (mapping) pertinentes pour apprécier des phénomènes complexes (multi-échelles, polymorphes, dynamiques, etc.)

4.3.2.2 Design d'interactionUne partie des travaux menés depuis peu par l’équipe se positionnent dans le domaine du design sonore interactif. Il s’agit d’étudier le feedback sensoriel produit par une source sonore externe au corps en termes de contrôle, d’apprentissage et de perception de l’objet. Jusqu’à présent, ces travaux concernaient le type de feedback sonore qui informe sur le résultat d’une tâche (knowledge of result). Dans le cadre du design sonore interactif, l’intérêt porte davantage sur le type de feedback sonore qui donne des informations sur la meilleure façon de réussir une tâche (knowledge of performance). Des études montrent une étroite coopération entre système moteur et audition dans le domaine temporel aussi bien à court terme, pour ponctuer un rythme (Zatorre et al., 2007)51, qu’à long terme, dans un processus d’apprentissage [Lemaitre09b]. D’autres études ont montré l’avantage de la composante sonore pour effectuer un mouvement dans la pratique du sport (p. ex., Effenberg, 2011)52 ou la manipulation d’un objet du quotidien. Cependant, il n’existe quasiment pas d’études perceptives menées de manière systématique concernant l’influence du type de sonification sur la qualité d’un contrôle, ainsi que sur la facilitation et l’apprentissage d’un dispositif interactif. Différents modes de sonification seront comparés en faisant varier les relations entre informations motrices et paramètres de contrôle de la sonification ainsi que le contexte de la tâche. Ce travail sera mené dans la continuité du projet Legos avec l’équipe IMTR, en collaboration avec l’équipe Neuromouv (CNRS). Ces travaux nécessiteront par ailleurs de développer des prototypes interactifs, lors de workshop de type design participatif, en priorité pour répondre à un cadre expérimental.

49 J.J Aucouturier, B. Defreville, Judging the similarity of soundscape does not require categorization : evidence from spliced stimuli, J. Acoust. Soc. Am., 125 (4), April 2009.50 G. Parseihian, B. Katz, Morphocons : A new sonification concept based on morpholical icons, J. Audio Eng. Sco., Vol. 1, No. 1, November 2011.51 R. J. Zatorre, J. L. Chen, V. B. Penhune, When the brain plays music: auditory-motor interactions in music perception and production. 2007, Nature Reviews Neuroscience, 8(7), 547-558.52 A. O. Effenberg, Enhancing Motor Control and Learning by Additional Movement Sonification. In J. (Eds. . Hermann, T., Hunt, A. & Neuhoff (Ed.), The Sonification Handbook. (pp. 549-552). Berlin: Springer, 2011.

26

Projet 2014-2018

4.3.2.3 Design sonore et esthétiquePoser la question de l’esthétique dans le design sonore peut, d’une certaine manière, revenir à s’intéresser à la relation entre le fond et la forme : le fond relevant de l’idée/information transmise, et la forme relevant de la qualité/expressivité évoquée. Cette question peut également permettre de replacer l’objet principal du design sonore – penser la composante sonore pour faire entendre une intention aussi bien formelle que fonctionnelle – dans le périmètre élargie de la recherche en design où cette problématique de l’esthétique est largement traitée (p. ex., Hallnäs, 2011)53. Sur la base du principe « what is beautiful is usable » étudié par Tractinsky et al. (2000)54, et de l’étude dérivée à une Interface Homme-Machine (IHM) sonore [Susini12a], nous nous intéresserons globalement à l’influence de la "variable" esthétique sur la composante fonctionnelle, précisément dans le domaine des IHMs en posant des questions de différentes nature : i) général : comment définir une esthétique sonore ? ii) méthodologique : comment évaluer une esthétique sonore (p. ex., via l’étude des émotions) ? iii) ergonomique : comment définir et mesurer une fonctionnalité d’IHM sonore (p. ex., via l’étude des performances ou de l’apprentissage). Par ailleurs, cette réflexion est susceptible de croiser celles formulées différemment dans les équipes RepMus (J. Bresson) ou EAC (I. Viaud-Delmon).

4.3.3 Outils pour le design sonore

4.3.3.1 Des imitations vocales et gestuelles au croquis sonoresIl existe en design graphique le papier et le crayon qui permettent de faire des ébauches ou croquis représentant une idée concernant un objet ou un bâtiment. Le croquis permet alors de générer rapidement des idées avec un minimum de détails ; sa lecture va permettre de générer de nouvelles connaissances dans un processus itératif. L’équivalent dans le domaine sonore n’existe pas. La seule ressource accessible pour décrire rapidement l’idée d’un son consiste à l’imiter, et éventuellement à accentuer ou à compléter la production vocale par un geste. L’idée serait donc ici de développer des outils qui permettent de réaliser une ébauche sonore fondée sur les imitations vocales et gestuelles à partir d’une analyse combinée : signal, phonatoire et gestuelle. Il s’agirait pour le designer d’imiter le son dont il a l’idée, puis l’outil, en reconnaissant le type de source sonore imitée, choisirait le type de synthèse sonore le mieux adapté (signal ou modèle physique) ainsi qu’un paramétrage par défaut du modèle. Ce travail nécessite d’étudier en amont les relations entre catégories perceptives de sons environnementaux et celles correspondant à leurs imitations, en relation avec les modes de production du système phonatoire pour superviser le processus de choix d’un modèle physique. Ce travail sera mené en collaboration avec IMTR et A/S (Ircam), ainsi qu’avec l’équipe S2M du LMA.

4.3.3.2 Controle perceptif de la synthèseLa pertinence de la question du contrôle perceptif de la synthèse sonore s’est révélée, au cours de ces dernières années, par le retour de plusieurs contextes d’utilisation "experte" (compositeurs, designers sonores). Cela étant, le développement de ce type de contrôle passe par deux points essentiels : i) l’étude de grandes catégories perceptives (p. ex., matériaux / textures) et leur caractérisation en termes de descripteurs acoustiques ; ii) la capacité à tester expérimentalement des hypothèses sur la perception des sons générés par un moteur de synthèse donné qui, manipulant un grand nombre de paramètres, conduit généralement à une grande variété de sons, quasi-incompatible avec une approche expérimentale classique. Dans le cadre du projet CLOSED55 nous avons étudié des paradigmes expérimentaux nouveaux combinant une approche classique (catégorisation) et une méthode adaptative d’apprentissage supervisée qui permet de considérer des corpus sonores plus volumineux [Ludlow08b]. Le premier objectif visé est donc ici de continuer l’effort de recherche dans cette direction. Le second objectif sera, à plus long terme, de faire correspondre l’espace sonore d’un ou plusieurs modèles avec un espace perceptif relié à un ensemble de descripteurs, permettant ainsi un contrôle de haut-niveau de la synthèse. Cette finalité rejoint, par ailleurs, celles de certains travaux développés dans l’équipe A/S, Ircam (G. Peeters, W. Liao).

53 L. Hallnäs, On the foundations of interaction design aesthetics : revisiting the notions of form and expression, Int. Journ. of Design, Vol. 5, No. 1, 2011.54 N. Tractinsky, A. Katz, D. Ikar, What is beautiful is usable. Interact. Comput.,13:127–145, 2000.55www.closed.ircam.fr

27

Unité mixte de recherche STMS Ircam-CNRS

4.4 Equipe Analyse/ synthèse des sons

Les recherches que nous effectuerons dans les cinq années s’inscrivent dans la continuité des travaux et des résultats de la période précédente. Contraints par l’utilisation des méthodes existantes pour la création, nous devons consacrer une partie de nos efforts à l’évolution des outils existants afin de les adapter aux nouvelles situations et utilisations. Dans les sections suivantes, nous mettrons l’accent sur les évolutions attendues et les approches et problèmes novateurs qui seront étudiés. Les sujets proposés n’étant pas tous réalisables avec les seules ressources pérennes actuelles de l’équipe, leur réalisation est conditionnée au renouvellement de financements supplémentaires. Dans la description suivante, ces recherches et développements sont organisés selon quatre axes principaux :

1. Analyse, représentation, transformation, et synthèse des signaux sonores utilisant des théories et techniques de traitement du signal et de statistique ;

2. Analyse, représentation, transformation, et synthèse de la parole utilisant les techniques spécifiques pour la voix ;

3. Description des contenus musicaux à différents niveaux de description utilisant des descripteurs du signal audio.

4. Modélisation physique pour l’analyse et la synthèse du son, notamment en utilisant le lien entre la physique et le traitement du signal.

Vu la qualité des résultats obtenus grâce aux approches développées dans la période précédente, nous constatons que nous avons besoin, pour améliorer les performances, de prendre en compte plus d’information. Ces informations supplémentaires peuvent être établies de plusieurs façons. D’un côté, nous utiliserons des modèles statistiques (entre autres) pour représenter les relations entre plusieurs variables (par ex. les variables de hauteur, d’intensité, et de timbre qui doivent être gérées de façon cohérente pour la synthèse et la transformation expressive des sons et de la parole, ou pour l’estimation jointe des descriptions de contenu). Pour d’autres sujets, les informations supplémentaires dépendent du contexte. Par exemple, l’estimation des hauteurs dans les sons polyphoniques pourrait exploiter les informations a priori sur les harmonies utilisées dans la musique.

4.4.1 Analyse, Transformation, et Synthèse du sonProjets acceptés : ANR Physis, FP7 ICT 3DTVSLes sujets seront centrés sur des problèmes de modélisation, de représentation et de transformation sonore, mettant en avant les problèmes liés à 4 thématiques principales :

4.4.1.1 Transformation et synthèse réaliste et expressive des sonsLa haute qualité des transformations obtenues pour les composantes sinusoïdales et les transitoires nous a amenés récemment à commencer des travaux sur la thématique des transformations et synthèses réalistes et expressives. Nous évoquons ici les transformations et synthèses de haute qualité, d’un réalisme et d’une expressivité qui ressemblent à ceux des sons naturels. Cela concerne d’un côté la synthèse et la transformation des notes d’instruments, pour lesquelles les travaux continueront dans le cadre du projet SOR2 et de la thèse de H. Hahn. Des travaux sur l’analyse et la synthèse du vibrato développeront une approche complémentaire. Par la suite, nous les prolongerons vers des modèles de « style de jeu » d’un interprète, qui pourraient par exemple être appris à partir d’exemples.

4.4.1.2 Analyse, séparation et transformation de la musique polyphoniqueLa transcription automatique des sons polyphoniques en codage Midi, fondée sur l’algorithme développé avec C. Yeh [Yeh08a, Yeh10a], donne actuellement déjà des résultats très satisfaisants. Les travaux sur l’analyse et la modification de la musique seront poursuivis dans plusieurs directions : la complétion de l’information de la transcription par l’information de l’instrument jouant chaque note, la transcription de la partie jouée par la batterie, la réduction des erreurs (notamment élevées pour les notes jouées en relation harmonique) par l’utilisation d’information sur le contexte musical (contrainte harmonique) et sur les instruments de musique présents (contrainte acoustique).

4.4.1.3 Textures sonores Les algorithmes pour la transformation des sons sont généralement très orientés vers les sons dominés par les composantes sinusoïdales. Les bruits présents dans tous les sons sont très souvent

28

Projet 2014-2018

négligés. Dans ce contexte, nous cherchons à ouvrir le champ des sons accessibles au traitement de haute qualité. Des travaux sur la représentation et la transformation des textures sonores ont commencé très récemment dans le cadre de la thèse de W.-H. Liao et seront continués d’une part dans cette thèse, et d’autre part dans le projet ANR PHYSIS qui a débuté au milieu de l’année 2012.Les objectifs de ces travaux concernent la modélisation et la transformation des caractéristiques des textures sonores et des bruits, sur la base d’une représentation « temps-fréquence ». Aujourd’hui ces sons ne peuvent pas être transformés avec une qualité suffisante en raison des modèles actuellement utilisés pour la transformation, et généralement fondés sur les composantes sinusoïdales ou transitoires. Pour les modifications des textures et bruits il est essentiel de gérer les caractéristiques statistiques du signal [McDermott 2011]56, [Liao12a].

4.4.1.4 Séparation de sourcesLes outils disponibles pour la séparation des sources se sont développés dans les années précédentes notamment grâce aux algorithmes NMF [Lee 1999]57. Les enjeux liés à la séparation des sources sonores vont se développer dans les années à venir et nous prévoyons de nous engager davantage dans ce domaine. Les deux projets concrets qui porterons nos activités dans ce domaine sont le projet interne DReMIX (recomposition de la musique polyphonique) et le projet 3DTVs pour lequel nous seront amenés à étudier l’utilisation des informations présentes dans les différents canaux des sons stéréo et multipistes pour l’extraction et la détection des évènements sonores.

4.4.2 Description des contenus musicauxProjets acceptés : FP7 ICT 3DTVS, FUI Bee MusicNotre projet de recherche s'articule autour des axes suivants :

4.4.2.1 Système hiérarchique d'estimationAujourd'hui, chaque système de description part d'une analyse du signal audio sans utilisation d'une information sémantiquement plus élevée préalablement calculée. Ainsi, l'estimation d'accord s'effectue par l'extraction de chroma (et non par l'utilisation d'une estimation de hauteurs multiples), l'estimation des battements par extraction d'une fonction d'énergie (et non par utilisation d'une estimation d'onsets). L'empilement de systèmes d'estimation nécessite la prise en compte des performances des différents systèmes, de leur incertitude et de déterminer la manière dont celle-ci se propage à travers un système. Notre objectif est d'étudier la définition de la fiabilité de chaque étage d'un système et de permettre l'utilisation de celle-ci dans l'étage supérieur. La même approche de fiabilité pourra être considérée pour l'utilisation de la séparation de source en indexation audio comme proposée par [Ozerov11a].

4.4.2.2 Estimation jointes des descriptions de contenuAujourd'hui, les descriptions de contenus musicaux sont estimées pout l'essentiel de manière indépendante. Des expériences dans le cas de l'estimation jointe accords / premier temps [Papadopoulos10a] ; battements / premier temps [Peeters11a] ; ou tonalité / accords [Pauwels 2011]58 montrent un intérêt pour l'estimation jointe des descriptions de contenus. Nous avons également démarré récemment une étude sur l'estimation jointe de la structure musicale et de la suite d'accords. Notre objectif est la généralisation de ces estimations jointes. Nous proposons de mettre en évidence l'ensemble des relations d'interdépendances entre les descriptions de contenus. - d'étudier la manière de les formaliser : au niveau de leur représentation et au niveau de leur utilisation (H-HMM ou réseaux bayésiens). Nous envisageons pour cela un travail conjoint avec l'équipe Représentations Musicales de l'Ircam spécialiste des formalismes de représentation.

4.4.2.3 Modèle sémantique de description de contenuLier l'estimation de paramètres de haut-niveau (genre musicale, humeur musicale) à des descriptions musicales (tempo, accord ...) est un rêve depuis le début des années 2000. A cette époque

56 [McDermott 2011] McDermott, J. H., Simoncelli, E. P., “Sound Texture Perception via Statistics of the Auditory Periphery: Evidence from Sound Synthesis”, In: Neuron, 71.5, 2011, pp. 926–94057 [Lee 1999] Lee, D. D., Seung, H. S., “Learning the parts of objects by non-negative matrix factorization.”, In: Nature, 401.6755, 1999, pp. 788–79158 [Pauwels 2011] Pauwels, J., Martens, J.-P., Leman, M., “Modeling musicological information as trigrams in a system for simultaneous chord and local key extraction,” in Proc. of IEEE International Workshop on Machine Learning for Signal Processing (MLSP), Bejing, China, 2011.

29

Unité mixte de recherche STMS Ircam-CNRS

[Tzanetakis 2002]59, la qualité des descriptions musicales obtenues est telle que son utilisation pour estimer des paramètres de haut-niveau produit des résultats inférieurs à ceux obtenus en utilisant directement le bas niveau (MFCC, SVM, ...). Aujourd'hui, les résultats obtenus pour ces paramètres musicaux se sont grandement améliorés et leur utilisation comme étage sémantique vers le haut niveau est envisageable [Abeßer 2009]60. Notre objectif se focalisera sur la liaison entre nos estimations de paramètres de haut-niveau et ces descriptions musicales (tempo, tonalité, accord, instrumentation, qualité vocale).

4.4.2.4 Prise en compte de la perceptionA l'exception des descripteurs de timbre, qui reposent sur les résultats d'expériences perceptives de similarité/ dissimilarité entre paires de sons, l'ensemble des descripteurs repose sur le paradigme de la reproduction d'une vérité terrain unique (un genre, un tempo, un accord unique est considéré comme vérité terrain). Notre expérience de création de corpus annotés nous a montré que plusieurs vérités peuvent coexister, chacune avec plus ou moins de pertinence. Notre objectif est de considérer ces vérités terrains multiples tant dans la conception des algorithmes d'estimation que dans leur évaluation. Nous avons, en ce sens, démarré une première recherche sur l'estimation du tempo perceptif [Peeters 2012]. Un autre point consiste à mieux considérer également la perception dans nos systèmes, non seulement dans les descripteurs (c'est en partie déjà le cas) mais également dans l'apprentissage. [Seyerlehner 2010]61 montre ainsi que les trames de sonies faibles contribuent peu à la perception du genre musical.

4.4.3 Analyse, traitement et synthèse de la voixL’un des principaux objectifs jusqu’au début de la période de ce projet est d’obtenir l’attribution pérenne d’un nouveau poste dédié au renforcement des activités de recherche sur la voix. En fonction du type de soutien et de la personne recrutée, les thèmes de recherche pourront soit s’ajouter aux quatre sujets présentés ici, soit en modifier la direction.

4.4.3.1 Analyse des paramètres de la source glottique de la voix L’un des principaux résultats récents pour le traitement de la voix est l’analyse des paramètres de la source glottique [Degottex10c]. Cette analyse doit être améliorée notamment pour les sons de fréquence fondamentale élevée (> 150Hz) pour lesquels l’algorithme actuel pose des problèmes. Ces analyses seront par la suite utilisées dans le contexte de la transformation et de la synthèse expressive du chant et de la parole. L’une des applications visées est l’apprentissage des modèles de style de chant à partir du signal, qui sont par la suite utilisés pour la transformation et la synthèse du chant. Il est à noter qu’au cours de la période de mi-2013 à mi-2014, nous allons recevoir un chercheur invité, doctorant à l’université nationale de Taiwan (National Taiwan University), qui travaillera sur l’utilisation des paramètres glottiques dans le cadre de la description du chant.

4.4.3.2 Synthèse de voix chantéeLa synthèse de la voix chantée sera étudiée selon plusieurs axes. Le premier est la transformation de la voix parlée en voix chantée. L'enregistrement parlé doit à cet effet être mis en correspondance avec la partition, ce qui est l'une de problématiques. Une autre difficulté concerne les voyelles à peine prononcées, ce qui arrive couramment dans la voix parlée, et qui devront en quelque sorte être reconstruites. Le second axe est la synthèse à partir du texte (et bien sûr de la partition). Nous étudierons la synthèse par sélection et transformation d'unités en utilisant les méthodes très performantes de transformation des sons développés par ailleurs dans l'équipe (vocodeur de phase en particulier). Pour les projets concernant la synthèse du chant, nous travaillerons entre autres avec la société Acapela avec laquelle nous venons juste de soumettre un projet régional dans ce domaine. Dans ce cadre, nous travaillerons également sur la synthèse en temps réel qui représente un fort intérêt pour les musiciens.

59 [Tzanetakis 2002] Tzanetakis, G., Cook, P., “Musical genre classification of audio signals,” IEEE Trans. on Speech and Audio Processing, vol. 10, no. 5, pp. 293–302, 200260 [Abeßer 2009] Abeßer, J., Lukashevich, H., Dittmar, C., Schuller, G., “Genre classification using bass-related high-level

features and playing styles,” in Proc. Of ISMIR, Kobe, Japan, 2009.61 [Seyerlehner 2010] Seyerlehner, K., “Content-based music recommender systems : Beyond simple frame-level audio

similarity,” Ph.D. dissertation, Johannes Kepler Universität, Linz, Austria, December 2010.

30

Projet 2014-2018

4.4.3.3 Conversion d'identité de voix, application à la voix parlée et à la voix chantéeLa conversion de la voix, appelée aussi « transformation du locuteur », est un sujet de recherche en cours à l’Ircam depuis 2006, et pour lequel il n’existe pas encore de solution satisfaisante. Dans le cadre de la thèse CIFRE de S. Huber (collaboration avec la société Acapela), ce sujet sera poursuivi en intégrant notamment la gestion de la source glottique, de nouveaux types de transformation utilisant la technologie de distorsion de l’enveloppe, et la transformation des caractéristiques de la prosodie des locuteurs.

4.4.3.4 Transformations expressives de la voix et modification de la qualité vocaleLes transformations de la voix sont nombreuses, par exemple la nature de la voix (âge, genre), la qualité vocale (voix craquée, voix soufflée, voix chuchotée, etc.), et les émotions (tristesse, colère, etc.). L'étude de la transformation expressive de la voix, et de la transformation de la qualité vocale a pour objectif de permettre le développement d'outils de transformations de la voix de haute qualité, c'est-à-dire utilisables dans un environnement audio professionnel. Le contrôle de la transformation de la voix s'articule autour de 3 paradigmes : l'identification des caractéristiques de la voix à modifier en fonction du type de transformation désiré, la détermination d'une fonction de transformation de ces caractéristiques, et la transformation des caractéristiques du signal vocal. Les enjeux principaux du projet recouvrent totalement ces 3 thématiques.L’identification des caractéristiques à modifier et les directions principales de transformation des caractéristiques de la voix en fonction d'un type de transformation seront appris au moyen de méthodes statistiques appliquées sur de grandes bases de données (Principal Component Analysis, Multiple Regressive Gaussian Mixture Models [Ohta 201062, Toda 200963], Speaker Adaptation [Legetter 1995]64). Pour la transformation proprement dite, nous développerons de nouveaux opérateurs de transformation du signal de parole qui permettront notamment des manipulations au niveau de la source glottique.

4.4.4 Modélisation physique pour l’analyse et la synthèse du sonProjets acceptés : ANR Cagima, HamecMopSysLa poursuite de ces travaux s’organise selon deux thèmes : (I) Analyse et synthèse sonore, (II) Systèmes mécatroniques. Elle se synchronise avec deux projets ANR à quatre ans. Le projet Cagima vise à construire des prototypes d’instruments à vent réels (par Buffet-Crampon) à “géométrie optimisée”. Le projet HamecMopSys vise à développer de nouvelles méthodes pour l’analyse, la réduction d’ordre, la simulation et la commande de systèmes physiques ouverts en profitant de la structure apportée par des équations de bilan (en particulier sur l’énergie).

4.4.4.1 Analyse et synthèse sonore (outils théoriques et applications)

4.4.4.1.1 Systèmes dynamiques de production de la voix informés par la physique et commandés par la géométrie

Cette thèse de Thomas Hézard s’intéresse à des modèles hérités de la structure source-filtre, intégrant un couplage aéro-acoustique glotte (à géométrie paramétrée) / conduit vocal. Le but est d’améliorer les méthodes à estimation conjointe de paramètres “excitation+conduit vocal” déjà disponibles dans le cas source-filtre. On y exploite des signaux d’aires glottiques estimés sur une base de données (vidéo endoscopique rapide) et l’élaboration d’un nouveau capteur (cf. 4.4.4.2.1).

4.4.4.1.2 Estimation et optimisation de la perce d’instrument à vent et simulation réaliste en temps-réel (CAGIMA)

En exploitant des modèles à peu de paramètres de tubes acoustiques (validés récemment, [Helie11d]), ce travail consiste à : (a) développer une boîte à outils de calcul d’immittances de résonateurs de vents à partir de la géométrie [Helie10a], la version réciproque ; (b) optimiser un profil sur des critères objectifs (établis dans le projet CAGIMA)65 ; (c) fournir des simulations temps-réel en guides d’ondes à passivité garantie (suite de [Helie12b]), pour jouer et tester les résonateurs

62 [Ohta 2010] Kumi Ohta et. al "Adaptive voice-quality control based on one-to-many eigenvoice conversion", In Interspeech-2010, 2158-2161.63 [Toda 2009] T. Toda "Eigenvoice-based appro ach to voice conversion and voice quality control". Proc. NCMMSC, International Symposium, pp. 492-497, Lanzhou, China, Aug. 2009. 64 [Leggetter 1995] C. Legetter, P. Woodland, Maximum likelihood linear regression for speaker adaptation of continuous density hidden Markov models. Computer, Speech, and Language, 9/2, 171-185.65 Conception acoustique globale d’instruments de musique à anche justes et homogènes (projet blanc, SIMI 9-2011-0).

31

Unité mixte de recherche STMS Ircam-CNRS

construits.

4.4.4.1.3 Modèles généraux d’amortissements physiquement consistants et dissipativité pour les systèmes Hamiltoniens à ports

Pour les systèmes mécaniques linéaires, les séries de Caughey donnent la classe des modèles d’amortissements préservant les fonctions propres. Ce travail étendra ce type de résultat à des classes structurellement “compatibles avec” et “construites à partir” d’un système conservatif à Hamiltonien (linéaire ou non). (HamecMopSys, avec D. Matignon, ISAE-Sup’Aéro)66

4.4.4.1.4 Synthèse sonore par modélisation physique préservant la passivité et inversion entrée-sortie Application aux systèmes électroniques audio et vibro-acoustiques (sujet de thèse proposé67, UPMC)

4.4.4.1.5 Généralisation des séries de Volterra et méthodes de perturbations pour l’analyse, l’identification, la réduction de modèle et la simulation de systèmes non linéaires

L’efficacité des séries de Volterra est perdue pour les systèmes non linéaires introduisant des modulations de fréquence (sortie du domaine de convergence et apparition de modes séculaires, e.g. oscillateur de Duffing). Ce travail consistera à : proposer des généralisations capables de gérer ce type de comportement (avant l’apparition de bifurcations) ; profiter des structures et décompositions obtenues pour construire des méthodes d’estimation robustes et réductions d’ordre efficaces (avec B. Laroche, DR2- INRA).

4.4.4.2 Systèmes mécatroniques (outils pour l’expérimentation et la validation) 4.4.4.2.1 Construction d’un électro-glottographe multi-canal et tomographie pour la reconstruction de la

dynamique des plis vocaux Nous avons lancé ce projet avec l’Ecole des Mines-Paristech. Il vise à construire un dispositif multi-électrodes (multiplexage fréquentiel) fournissant des vecteurs de mesures synchrones pour reconstruire des géométries dynamiques simplifiées des plis vocaux (avec T. Hézard, N. Henrich-CR CNRS, M. Kob-Prof. Detmold, T. Legou- Ingé. CNRS, A. Lagier-Chirugienne ORL).

4.4.4.2.2 Modélisation, asservissement et commande d’une bouche artificielle robotisée pour le jeu des cuivres

Ce travail consiste à proposer une modélisation complète (instrument, bouche, actionneurs) sous la forme “Hamiltonienne à ports”, à mettre au point et valider des commandes, observateurs d’état et méthodes d’inversion entrée-sortie exploitant la passivité et l’énergie comme fonctionnelle de Lyapunov (sujet de thèse proposé, ED SMAER-UPMC, HamecMopsSys, CAGIMA).

4.4.4.2.3 Système de production vocale robotisé et acoustique du conduit vocal par impédance activeCette évolution du système 4.4.4.2.2 utilisera des couples microphones/haut-parleurs asservis co-localisés sur (typiquement) un tube droit, pour reproduire des immittances acoustiques de conduit vocal variant dans le temps. Ce résonateur sera couplé à des cordes vocales artificielles pilotées.

66 Approche Hamiltonienne pour l’analyse et la commande des systèmes multiphysiques à paramètres distribués (projet blanc, SIMI 3-2011-0).67 Version détaillée sur http://edite-de-paris.fr/spip/spip.php?page=phdproposal&id=10088255

32

Projet 2014-2018

4.5 Equipe Représentations musicales

L'équipe Représentations musicales (RepMus) est spécialisée dans l’étude des représentations symboliques des structures et des processus musicaux et leurs applications à la composition assistée par ordinateur (CAO), aux approches computationnelles de la théorie et de l’analyse musicales, à l’intelligence de l’écoute et de l’interaction improvisée. Ce travail se fonde notamment sur une importante activité de recherche et de développement dans le domaine des paradigmes de programmation, langages et architectures adaptés à la musique. La réflexion sur les représentations formelles des concepts musicaux, appuyée sur les langages informatiques et les environnements développés par l’équipe, débouche sur l’implémentation de modèles expérimentaux, de prototypes, de logiciels applicatifs qui peuvent se tourner vers la création comme vers l’analyse et la performance vivante.

RepMus aborde cette nouvelle période quinquennale de projet avec plusieurs données nouvelles.OpenMusic, le langage visuel fonctionnel de composition et d’analyse musicales, qui constitue un des fleurons de l’équipe, après avoir considérablement grandi en terme fonctionalités (ouverture vers la synthèse, la spatialisation, l’orchestration …) se pose aujourd’hui la question de la réactivité et de l’intelligence distribuée.L’équipe accueille depuis 2011 un nouveau collaborateur, Jean-Louis Giavitto, DR CNRS, qui apporte de précieuses compétences dans le domaine des langages informatiques et notamment les langages non-conventionnels.Un nouveau projet, MuSync, accueilli au sein de RepMus, renoue une alliance, interrompue depuis les années 80, quand l’Ircam utilisait ses langages de haut niveau, avec l’Inria, en constituant une équipe-projet commune (EPC Inria/Ircam/CNRS) qui devrait être validée à la fin de cette année. MuSync, fondé par Arshia Cont (transféré dans l’équipe en 2011), accueille Florent Jacquemard (CR Inria) ainsi que J.L. Giavitto qui apporte son expertise langage. Avec ce projet consacré aux langages synchrones d’interaction musicale et à l’écoute artificielle, notamment autour du logiciel AnteScofo, l’activité language de l’équipe se renforce notablement, ainsi que ses travaux précurseurs sur la boucle perception/action musicales artificielles initiés dans le projet OMax mettant en œuvre un agent improvisateur.Enfin Carlos Agon, un des concepteurs d’OpenMusic est nommé Professeur de l’UPMC depuis cette année. Ce recrutement dans un UFR scientifique sur un profil d’informatique musicale est une première en France, et constitue une reconnaissance académique importante des thématiques défendues depuis de nombreuses années par RepMus. Il renforce nos liens avec la recherche académique.

Dans ce contexte renouvelé, outre les filières historiques de l’équipe (Composition, Improvisation, Orchestration assistées par ordinateur, Math-Musique) et le projet MuSync qui démarre cette année seulement, un certain nombre de projets se tissent à la frontière de ces territoires, assurant leur fine intégration. Ainsi, la fouille de données symboliques et les données semi-structurées étudiées par F. Jacquemard viennent enrichir OpenMusic. La perception artificielle et l’interaction sont à la jonction du projet MuSync sur l’intelligence nomade et du projet d’entente improvisée homme-machine issu d’OMax. L’evolution du modèle OpenMusic est pilotée par J. Bresson avec J.L. Giavitto. Le projet MISA (math-musique) s’enrichit des méthodes de programmation spatiale de J.L. Giavitto.

Une nouvelle vision se dessine ainsi, reflétée dans le plan de recherche ci-dessous, avec trois fils principaux  : les langages (pour la composition et l’interaction), la logique (des structures et processus musicaux) et l’IA (des situations musicales).

4.5.1 Langages et architectures pour la composition et l’interaction

4.5.1.1 Spécification, contrôle et ordonnancement dynamiques des structures temporellesUne des caractéristiques du workflow musical est la gestion de modèles fortement hétérogènes du temps : la spécification de structures temporelles musicales par un compositeur, et leur mise en œuvre lors de la performance, porte sur des objets hétérogènes à plusieurs échelles, repose sur des formalismes variés et fait appel à des styles différents. La coexistence de ces modèles, et leur coordination correcte lors de la performance, pose des problèmes considérables qui se sont encore

33

Unité mixte de recherche STMS Ircam-CNRS

aggravés avec les nouveaux besoins d’interaction amenés par de nouvelles applications musicales (œuvres ouvertes, pièces interactives et multimédia, dispositifs ambiant largement distribués, réalité virtuelle, jeu sérieux, compagnons digitaux et environnement nomade, etc). Dans le cadre de MuSync, nous voulons ouvrir de nouvelles directions de recherche autour des problématiques du temps synchrone/asynchrone, événementiel/continu (ordonnancement de tâche hybride), déterministe/non-déterministe (intégration de l’interaction à la composition). L’approche GALS « globalement asynchrone, localement synchrone » développe des concepts et des techniques permettant le couplage asynchrone de sous-systèmes synchrones. Nous voulons utiliser ces techniques pour mieux maitriser et contrôler la chaîne de production du son, depuis le traitement du signal audio synchrone jusqu’aux interactions asynchrones avec les humains. Un de nos problèmes spécifiques est de permettre ce couplage dans un environnement dynamique (création de processus par exemple).Nous envisageons aussi l’étude de processus de contrôle ou d’ordonnancement communs avec les environnements de CAO, permettant à un environnement comme OpenMusic d’appréhender à la fois les formes musicales structurées statiques et leur potentiel réactif vis-à-vis de leur environnement (informatique, ou musical en situation de concert).Le projet passe aussi par l’exploration de voies de recherche ouvertes par de nouvelles approches non-conventionnelles de la programmation. Le calcul chimique a ainsi déjà fait ses preuves pour coordonner des services dans un système distribué, le calcul autonome pour la gestion automatique de système dynamique dans des environnements incertains, le calcul organique pour l’adaptation incrémentale des systèmes à un objectif mal défini. Ces approches offrent aussi de nouvelles formes de mécanismes génératifs, bien au-delà des notions d’automates ou de grammaires, mécanismes dont la versatilité peut être mise à contribution pour aider à la programmation d’agents musicaux dynamiques.

4.5.1.2 Intégration visuel –reactif dans les langages de CAOOpenMusic (RepMus) et les langages déclaratifs utilisés en Composition assistée (CAO) ont montré une bonne adéquation à la représentation et au calcul de structures musicales formalisées. Ce modèle présente cependant des possibilités relativement limitées en terme d’interaction avec l’environnement, dans un contexte évolutif où se brouille la distinction classique entre composition et performance. L’introduction d’aspects réactifs dans le modèle fonctionnel d’OM permettrait alors d’intégrer une telle interaction avec l’environnement au sein de la boucle de programmation/calcul/exécution des structures musicales. Des systèmes d’ « écoute » et de réactivité au contexte doivent pour cela être insérés dans le langage, dans les interfaces utilisateur, et fonctionner comme régulateur du programme pendant ces différentes phases : un composant réactif, par définition, doit être capable d’agir en fonction d’événement produit, mais aussi de propager des changements au sein d’un système (dans notre cas, un programme). Cette approche ne s’intègre pas naturellement dans le paradigme fonctionnel tel qu’il est conçu dans OM et nécessitera l’addition de nouvelles constructions dans ses fondements formels et visuels. L’analyse de dépendance au sein des graphes fonctionnels sera une piste initiale pour la propagation de réactions et le maintien de la cohérence des programmes dans ce contexte hybride fonctionnel/réactif.

4.5.2 Logique des structures et processus musicaux

4.5.2.1 Rapports Mathématique / Musique / Informatique (MISA)Ce programme de recherche, mené principalement par Carlos Agon, Moreno Andreatta et Jean-Louis Giavitto, se décline en trois projets ayant de multiples intersections. Aspects logiques et géométriques en informatique musicale :Les travaux menés dans le cadre de la programmation spatiale appliquée à l’informatique musicale s'appuient sur diverses notions spatiales pour repenser la notion de structure des données et développer de nouvelles approches pour la programmation. Ces travaux s'apparentent au projet de la géométrie de l'interaction car la programmation spatiale partage avec cette dernière la volonté de repenser le calcul de manière intrinsèque, en portant une attention toute particulière à la dynamique et aux représentations géométriques. Ce paradigme semble très approprié au cas de la modélisation informatique de l’analyse transformationnelle dans laquelle il s’agit de trouver de bonnes représentations géométriques pour rendre compte de l’espace musical qui est propre à chaque partition analysée. Cette approche constitue également une nouvelle perspective dans le domaine de

34

Projet 2014-2018

la sonification des données, conçu comme transformation algébrico-géométrique d’un espace support à l’espace musical.

Aspects cognitifs et perceptifsNous nous proposons d’aborder ce domaine à partir de l’étude des aspects computationnels du modèle catégoriel des neurones proposé récemment par A. Ehrensmann et J.-P. Vanbreemersch (SEM : Systèmes Evolutifs à Mémoire, MENS Memory Evolutive Neural Systems, 2007) et ses applications possibles au domaine de la cognition musicale. Ce modèle a montré la pertinence de la théorie des catégories pour l’étude des systèmes complexes et de l’émergence de processus neuronaux d’ordre supérieur. A la suite d’une première thèse sur le sujet dans l’équipe qui se terminera en 2013, nous voulons étudier l’application à la musique de ce modèle dans une perspective à la fois formelle et cognitive, mettant en jeu la notion même d’espace musical dans sa relation aux neurosciences, et la pertinence des algèbres de dimension supérieure comme outils descriptifs et opérationnels. Nous visons à plus long terme à constituer un cadre conceptuel général pour l’étude des relations entre mathématique/musique et cognition, de manière à aborder la question du « sens » en musique indépendamment de toute considération sur le langage et son rapport à la musique.

Aspects épistémologiques et philosophiques du rapport mathématique/musique et informatiqueCette réflexion, menée principalement dans le cadre des activités du séminaire mamuphi (Mathématique/Musique et Philosophie, ENS/STMS), explore l’hypothèse d’une pertinence de la catégorie de «structuralisme phénoménologique » dans une relecture/réactivation de la tradition structurale. La musique, ou plus précisément la recherche mathémusicale, représente ainsi une démarche grâce à laquelle on pourrait arriver à concilier certaines instances structuralistes avec d'autres orientations philosophiques, en particulier la phénoménologie husserlienne. À partir de réflexions de mathématiciens sur la portée phénoménologique de l'activité mathématique contemporaine et de l’expérience accumulée dans l’équipe sur l’implication perceptive et cognitive des problèmes mathématiques posés par la musique, un cadre conceptuel renouvelé pourrait ainsi être proposé.

4.5.2.2 Fouille de données symbolique et données semi-structurées La structure formelle d'une pièce musicale correspond à une segmentation récursive décrivant une hiérarchie de groupes imbriqués que l'on peut représenter par un arbre, et jusqu’à la structure rythmique fine des événements, les durées étant définies par divisions successives. C’est ainsi qu’OpenMusic représente les objets musicaux de toutes échelles, les « données étant dans la structure », ce qui constitue un aspect des données semi-structurées.Nous nous proposons d'étudier l'application aux données musicales symboliques de techniques pour la recherche efficace et la manipulation de telles données structurées en arbres, avec des applications dans la fouille de bases de partitions et les transformations musicales créatives comme la quantification et la transcription rythmiques à partir de données temporelles plates.Pour traiter ce dernier problème, dont aucune solution satisfaisante n’a pu être proposée jusqu’à aujourd’hui, nous envisageons d’explorer les techniques d'inférence grammaticale (apprentissage d'automates sur des exemples) et d’étudier les formalismes de transformations de données arborescentes, comme le langage XSLT, les transducteurs d'arbres, les systèmes de réécriture, et les outils pour raisonner sur ces transformations (comme les techniques de vérification de types), ainsi que la résolution de contraintes sur des domaines d’arbres.Une structuration de l’architecture des données dans OpenMusic, cohérente avec ces formalismes, permettrait d’intégrer de manière efficace et interactive les différentes requêtes, contraintes et traitements symboliques au sein des structures et éditeurs musicaux de cet environnement très populaire auprès des compositeurs.

4.5.2.3 Méthodes formelles pour l'aide à l'écritureLa complexité croissante des compositions de musique mixte, spécifiant l'interaction entre instrumentistes et dispositifs électroniques, ainsi que la dimension critique des systèmes temps-réels permettant l'exécution de ces pièces rendent fortement désirable une phase statique de vérification formelle des partitions. Le but de ce projet mené au sein de MuSync est double. Il s'agit d'une part de s'assurer que le comportement du système en concert pour une partition donnée sera conforme à des propriétés qualitatives souhaitées. La tâche peut devenir très complexe

35

Unité mixte de recherche STMS Ircam-CNRS

dans le cas de partitions complexes, non déterministes, donnant lieu à des créations dynamiques de processus etc. On suivra les approches pour la vérification de programmes fondées sur des outils preuve automatique de théorèmes ou des techniques d'exploration systématique de l'espace des configurations accessibles, à l'aide de représentations symboliques finies. D'autre part, on visera à assister les compositeurs sur certains aspects quantitatifs de leurs pièces de manière à leur permettre de les améliorer d'un point de vue fonctionnel.Un problème crucial est la gestion des durées, afin de pouvoir tenir compte en particulier des variations liées à l'interprétation des instrumentistes. Notre but ici est la modélisation des partitions dans des formalismes appropriés (par exemple issus de la théorie des automates temporisés) et l'inférence de contraintes linéaires et Booléennes sur les données liées à l'interprétation, assurant un comportement souhaitable au système.Les contraintes obtenues pourront par exemple fournir une indication quantitative de la robustesse de la composition aux variations des interprètes. Dans le cadre de l'aide à la composition, cette information peut-être plus pertinente que de savoir si le système aura toujours un comportement correct ou non, tout en évitant dans certains cas l'explosion du nombre d'états à explorer.Enfin, on considérera le problème de la synthèse de programmes, inverse de la vérification: partant d'une spécification de haut niveau d'un comportement souhaité, le but est d'inférer un programme (bas niveau) réalisant ce comportement. Cela permettra par exemple l’introduction de conditions à base de patterns dans l’écriture de la partition électronique.On étudiera les résultats connus sur les systèmes distribués et temporisés, fondés sur la théorie des jeux, et leur application dans le cadre de la musique mixte.L'utilisation de techniques de vérification formelle est une approche nouvelle dans le cadre de l'informatique musicale qui favoriser les interactions avec la communauté des méthodes formelles et pourra faire émerger de nouveaux développements théoriques.

4.5.3 Intelligence des situations musicales

4.5.3.1 Entente improvisée homme / machine (EIHM)Mis au point dans l’équipe, OMax est un modèle hybride (multi-échelle du signal aux symboles musicaux) d’écoute, d’apprentissage, de représentation, de génération et de contrôle de séquence musicales dans un contexte de co-improvisation homme-machine, qui s’est imposé comme une référence globale en matière d’interaction improvisée. Parmi les limitations de ce modèle, l’absence d’auto-écoute et d’écoute mutuelle (l’écoute est limitée à l’apprentissage), la structure peu flexible d’agents en petit nombre et peu interactifs. Lorsque l’interaction est basée sur une telle écoute interne et externe, nous parlons d’entente, au sens où les musiciens s’entendent à jouer ensemble.Dans contexte évolutif, où la notion d’œuvre et de performance est beaucoup moins centralisée, et où les frontières entre composition et improvisation sont moins rigides, nous souhaitons aborder à partir de cet important acquis des modèles de créativité artificielle plus puissants, plus versatiles, plus autonomes, moins centralisés.A cet effet, nous proposons de diriger la recherche dans les directions suivantes :

intégration épistémique / statistique (intégration des connaissances structurées et des modèles statistiques)

distribution d’agents autonomes interactifs capables d’écoute mutuelle et d’auto-écoute, capables de se reconfigurer voire de constituer des populations dynamiques

émergence des structures polyphonique comme interaction des agents entre eux et avec les musiciens humains

faible et forte corrélation des comportements à différentes échelles temporelles, de la polyphonie de flux à la synthèse de timbre

articulation avec les projets Spécifications … des structures temporelles et Intelligence nomade pour la question des scénarios spatio-temporels globaux et la relation à la composition écrite.

Nous rangeons cette démarche dans le domaine de la musicalité artificielle (Machine Musicianship) qui se détaille en une partie perceptive-cognitive dans laquelle un modèle de la situation musicale est élaboré (Cognition musicale artificielle), et une partie active ou réactive de génération dans laquelle la machine prend l’initiative (Poiésis musicale artificielle), soit pour résumer le cadre du projet : MA = CMA + PMA.Un aspect important du projet qui doit aussi être souligné est que s’attacher à l’improvisation n’est pas réduire le champ d’investigation mais au contraire l’étendre considérablement. En effet, toute interaction – humaine – que ce soit dans le dialogue discursif ou l’échange non verbal, est, fondamentalement, improvisée. Même l’éxécution collective d’une œuvre écrite est totalement

36

Projet 2014-2018

improvisée du point de vue de ses déviations expressives et des interactions très complexes que ces dernières entraînent entre les musiciens. Les modèles étudiés sont donc susceptibles d’une grande généralité, dans la musique et hors de la musique.

4.5.3.2 Intelligence Nomade des agents musicaux pour les musiques mixtesLa pratique de la musique mixte consiste à mettre ensemble l’humain et la machine, à la fois dans la phase de conception de l’œuvre (écriture) et dans celle de l’éxécution (performance). Le système informatique derrière ce couplage devra être capable de confronter les deux univers lors de l’écriture, et devra pouvoir en gérer la coordination temporelle lors de la réalisation des œuvres en temps réel. Ce système réactif devra donc être doté d’une certaine intelligence musicale et d’une perception artificielle pour pouvoir lier les deux medias sur le vif.Dans ce contexte, la recherche en informatique musicale s’est interessé jusqu’ici de manière indépendante à la fabrication d’environnement de conception et de réalisation des parties électroniques (e.g. Max/MSP), de synchronisation homme / machine (eg. AnteScofo), et de simulation « intelligente » d’agents interactifs (e.g. OMax). Une des conséquences en est que les composants relevant d’une « intelligence musicale » ont été jusqu’ici peu ou pas couplés avec les composants gestionnaire du temps et des scénarii d’interaction. Dans une conception actualisée, une œuvre de musique mixte pourrait potentiellement contenir des centaines voir des milliers de ces agents intelligents et spécialisés, dont la composition des comportements configure l’œuvre, et qu’il faudrait lier d’une manière ou d’une autre avec une « partition » qui spécifie leurs relations spatio-temporelles. Par ailleurs les œuvres vont se déployer sur différentes platformes nomades, voire ambiantes, à partir d’une seule source. Au sein du projet MuSync, Il s’agit donc d’aborder ce couplage (déjà réalisé dans un contexte restreint dans le logiciel Antescofo), pour l’ensemble des pratiques de musique interactive et mixte, en proposant des modèles et des algorithmes au croisement des recherches sur les architectures multi-agents, l’ordonnancement hybride, l’apprentissage / perception artificielle, et les langages synchrones, dans une cadre intégré qui permette de spécifier, déployer et optimiser les partitions/programmes vers les différentes plates formes.Nous proposons en particulier pour la partie écoute artificielle de créer une librairie nommé OpenCA (pour Open Computer Audition Library), en analogie avec la communauté de traitement d’image qui a produit OpenCV (Open Computer Vision), permettant l’usage de ces technologies nomades dans une architecture logiciel/œuvre-d’art plus globale.Un des aspects les plus intéressants de ce projet, qui se tuilera avec le projet ANR INEDIT coordonné par l’équipe, est le couplage des recherches en IA (apprentissage, communautés d’agents et comportements emergeants) en ordonnancement (ordonnancement hybride des processus hétérogènes ontinus/discrets, audio, événementiels, gestuels etc.) et en langages (compilation de langages synchrones dans un contexte nomade / ambiant).

4.5.3.3 Ecriture des formes, du son et de l’espaceL’équipe Représentations musicales, au travers de l’environnement de programmation visuel OpenMusic, est une référence dans le domaine de la Composition assistée par ordinateur (CAO) et de l’écriture des formes symboliques et sonores de la musique. Les évolutions futures de cet environnement concernent différents champs liés aux activités de recherche et aux collaborations artistiques de l’équipe, permettant de pérenniser ses travaux et de les diffuser sous forme d’outils opérationnels, ancrés et reconnus dans la communauté musicale.Le rapprochement entre composition musicale et synthèse/traitements sonores (ou plus généralement entre les domaines symbolique et signal) a ouvert un champ de recherche fertile qui pourra être développé, notamment en lien à d’autres aspects du projet tels que les formes temporelles mixtes ou réactives, susceptible de favoriser un nouveau pont entre les structures musicales de haut niveau et les processus de synthèse sonore.De même, les contraintes symboliques ou les nouvelles approches non conventionnelles de la programmation pourront être appliquées à la création de structures de contrôle pour la spatialisation, autre avancée prometteuse du champ de la CAO vers le domaine de la production sonore. Les nouvelles méthodes sur les données semi-structurées permettront de renouveler le traitement de données dans OpenMusic et d’aborder les questions de corpus avec des outils puissants, notamment dans les domaines de l’orchestration et de la transcription.

37

Unité mixte de recherche STMS Ircam-CNRS

4.6 Equipe Analyse des pratiques musicales

Quatre grands axes structureront notre activité : 1) Esthétique et histoire de la musique contemporaine, 2) Comprendre les processus créateurs, 3) Stratégies d’analyse pour des répertoires spécifiques, 4) Instrumentation du discours multimédia sur la musique.Tout en poursuivant certains chantiers de longue haleine lancés dans les dernières années (éditions critiques d’écrits et de partitions, monographies sur des œuvres et compositeurs, développement d’outils techniques pour la publication musicologique en ligne), nous aborderons aussi de nouveaux objets de recherche tels que : les théories compositionnelles du geste, la mixité, ou les pratiques collaboratives en studio. Comme dans tous nos projets, il s’agira à chaque fois d’allier approches empiriques (pouvant allant de l’observation à l’expérimentation) et historiques, afin d’analyser au mieux la singularité de ces divers phénomènes. Enfin, dans la lancée de nos nombreuses contributions à la « musicologie des processus créateurs », nous inscrirons les apports de tous ces travaux au sein d’un contexte plus global, celui du développement de la recherche collaborative entre musicologues (et/ou chercheurs en sciences humaines et sociales) et praticiens de la musique.Le début de la période quinquennale sera notamment alimenté par deux projets ANR qui auront débuté à l’hiver 2012-13, GEMME et WAVE, renforçant respectivement les axes 1 et 4 jusqu’en 2015. Les axes 2 et 3 donneront lieu à un enrichissement de nos objets et à un renouvellement des partenariats scientifiques à la faveur de l’intégration des axes de recherche d’Alain Bonardi, maître de conférences à l’Université Paris-8, au sein de l’équipe.

4.6.1 Esthétique et histoire de la musique contemporaine

4.6.1.1 Composer (avec) le geste : un panorama critiqueConsidérer le « geste » (instrumental ou plus généralement musical) comme une catégorie compositionnelle à part entière est devenu banal dans la création musicale des vingt dernières années. Le caractère d’évidence intuitive de cette notion pour nombre de jeunes compositeurs cache pourtant un flou sémantique dont nous faisons l’hypothèse qu’il lisse un ensemble de problèmes techniques et théoriques rencontrés par les compositeurs d’avant-garde au cours des années 1960 et 1970, d’abord lors de la sortie du sérialisme (appuyée sur un retour au corps et à l’instrument), puis lors de l’appropriation des techniques de traitement en temps réel du son (live electronics). L’enquête sera réalisée grâce au projet « Geste musical : modèles et expériences » (GEMME, ANR Blanc SHS, 2012-2015), en collaboration avec A.-S. Barthel-Calvet (Univ. Paul Verlaine, Metz), P. Decroupet et J.-F. Trubert (Univ. Nice-Sophia Antipolis). Des œuvres d’Aperghis (Luna Park), Feneyhough (Time & Motion Study II) et Kagel seront notamment analysées. Il s’agira aussi, pour C. Delume et L. Feneyrou, d’interroger la dimension gestuelle dans l’œuvre de Helmut Lachenmann, en explorant l’articulation établie entre les dimensions concrètes du geste instrumental dans Salut für Caudwell, leur inscription dans une structure stricte et la question du geste compositionnel et artistique, au croisement entre esthétique et politique.

4.6.1.2 Edition scientifique d’écrits de compositeurs

4.6.1.2.1 Jean BarraquéParallèlement à la poursuite de l’édition critique des œuvres de jeunesse de Jean Barraqué – la cantate La Nostalgie d’Arabella, pour trompette, percussion, voix et piano, ainsi que le ballet pour orchestre Melos –, L. Feneyrou rééditera le Guide de l’analyse musicale que Barraqué rédigea au début des années 1950 et qui apparaît comme la somme de l’enseignement qu’il reçut de Jean Langlais et d’Olivier Messiaen, mais aussi comme un exposé synthétique de l’analyse telle qu’elle sera pratiquée au Conservatoire de Paris pendant de nombreuses années. Cette réédition sera accompagnée d’une étude des principes analytiques de Barraqué, dans ce guide, dans ses fiches analytiques, dans ses cours privés et collectifs, ainsi que dans ses célèbres analyses de la Cinquième Symphonie de Beethoven, de La Mer de Debussy et des Variations pour piano de Webern.

4.6.1.2.2 Salvatore SciarrinoEn collaboration avec G. Giacco, L. Feneyrou travaillera à l’édition d’un choix d’écrits de Salvatore Sciarrino. Musicien de renommée internationale, au catalogue parmi les plus conséquents d’aujourd’hui, Sciarrino est l’auteur de nombreux écrits, dont la presque totalité est inédite en français. Ces textes, croisant notamment musique, peinture, arts plastiques, histoire de l’art et mythologie,

38

Projet 2014-2018

précisent les enjeux d’une œuvre, déplacent notre appréhension de maîtres anciens (Mozart, Verdi…) ou modernes (Webern, Nono, Grisey…), décrivent la situation du compositeur à sa table, interrogent le silence, l’orchestration, le temps, l’espace ou l’écologie de l’écoute, et désignent la morale qui se joue dans l’acte même de l’écriture.

4.6.1.2.3 Emmanuel Nunes Enfin, L. Feneyrou entreprendra l’édition d’un choix d’écrits inédits d’Emmanuel Nunes. Le projet est de regrouper les trois pans principaux de sa recherche théorique : son analyse inachevée de la Seconde Cantate de Webern et des principes du sérialisme, ses articles sur le temps selon la phénoménologie husserlienne, et ses commentaires des ouvrages de Kandinsky.

4.6.1.3 Série d’ouvrages sur la musique des XXe et XXIe sièclesN. Donin assurera la direction scientifique d’une série d’ouvrages aux éditions Symétrie (Lyon), en parallèle des travaux précédents et en lien direct avec une partie d’entre eux. Intitulée « 20-21 », cette série (inscrite dans la collection Symétrie Recherche) est consacrée aux « musiques contemporaines », dans une acception large de ce terme – de l’entre-deux-guerres à nos jours, des esthétiques les plus fédératrices aux expérimentations les plus marginales, de la composition à la réception des œuvres. À travers des enquêtes collectives, des monographies sur une question ou un musicien, des traductions choisies et d’autres formats éditoriaux, elle interrogera la relation entre les enjeux musicaux d’aujourd’hui et la foisonnante histoire musicale du siècle dernier.

4.6.2 Comprendre les processus créateurs et leurs différents acteurs Cet axe de recherche vise à consolider et étendre la « musicologie des processus créateurs » collectivement élaborée dans le cadre du projet MuTeC et de la 1ère conférence TCPM (voir Rapport 2007-2012). D’une part, de nouvelles études d’œuvres en cours et d’œuvres anciennes seront menées dans le prolongement des méthodologies et des études de cas de MuTeC, en abordant en priorité des répertoires et des courants qui n’étaient pas représentés dans ce projet. D’autre part, il convient d’étendre le nombre d’acteurs considérés au sein des processus créateurs, à commencer par les interprètes et les Réalisateurs en informatique musicale (RIMs) ; des travaux spécifiques prendront ces acteurs pour objets d’étude.

4.6.2.1 Musicologie des processus compositionnelsLes participants au projet MuTeC co-écriront un ouvrage rassemblant les principaux résultats du projet (mené à terme en 2012). Chaque chapitre respectera un même format (mettant en évidence le corpus, la méthode, et les niveaux de généralité des conclusions) et reprendra (ou spécifiera) les éléments de vocabulaire analytique définis en commun au cours du projet. À la possibilité d’une lecture transversale ainsi offerte s’ajoutera un chapitre de bilan discutant les principaux concepts établis (contrainte pragmatique, mise en cycle, reprise de procédés et de matériaux, planification synoptique, idéation heuristique, etc.). Ce sont ces derniers qui seront prioritairement mis à l’épreuve de nouvelles études de cas, à la faveur de collaborations académiques, de l’accueil de doctorant-e-s, et, le cas échéant, de subventions de recherche de type ANR. Plusieurs pistes se dessinent dès aujourd’hui mais restent à confirmer, autour de Giacinto Scelsi, Iannis Xenakis, Claude Viver, Pierre Jodlowski, et de plusieurs œuvres dont la production est prévue à l’Ircam à partir de 2014.

4.6.2.2 Enquête sur la Réalisation en informatique musicaleUne recherche exploratoire menée par L. Zattra en 2012 sur l’histoire du métier d’Assistant Musical / Tuteur / Réalisateur en informatique musicale à l’Ircam a montré la nécessité d’étudier de façon systématique la profession émergente de RIM à travers une histoire de la collaboration créatrice dans la computer music, en prenant en compte la diversité des studios (SWR, CSC, IEM, CCRMA, etc.). Cette étude devra d’abord repérer en archive, dans des documents inédits, administratifs et officiels, les traces du développement de cette fonction à l’intérieur de la chaîne de production artistique. De là, nous mènerons une enquête qui se situe à la croisée des expertises musicologiques et socio-ethnographique. Il s’agira d’une part d’interviewer les témoins de l’époque historique de la computer music et d’aujourd’hui (car l’essentiel des savoir-faire concernés sont de tradition orale), mais aussi de comparer les produits de leur recherche musicale-artistique-technologique pour trouver des axes structurants qui apparaissent définir la profession. Se pose alors une série de questions méthodologiques, que nous aborderons : le problème des sources et de la documentation lacunaire qui devra être étudié en collaboration avec les

39

Unité mixte de recherche STMS Ircam-CNRS

protagonistes ; l’histoire orale avec ses questions et ses méthodologies (le défi étant d’élaborer une méthodologie fonctionnelle qui puisse être adaptable aux différentes situations d’entretien mais suffisamment contrôlée pour générer des données cumulables) ; l’histoire de vie ; la comparaison des résultats provenant d’autres recherche ethnographiques sur des professions artistiques similaires ayant obtenu une reconnaissance officielle.

4.6.2.3 Analyse de l’activité d’interprétation musicale

4.6.2.3.1 Apprentissage de l’œuvre avec et sans électroniqueNos précédentes enquêtes sur l’activité des interprètes avaient mis en évidence : d’une part (étude sur le quatuor à cordes) l’intérêt heuristique d’une perturbation du jeu habituel des instrumentistes par l’insertion d’un dispositif technologique leur permettant de contrôler des transformations du son ; d’autre part (études sur le chant et la direction d’orchestre) la possibilité de faire verbaliser en détail à un interprète soliste le cours de sa focalisation attentionnelle et de sa cognition en situation de répétition puis d’exécution.Sur cette base, nous mènerons une étude sur les technique d’apprentissage et d’appropriation d’une œuvre avec dispositif électronique versus sans dispositif électronique, par un(e) ou plusieurs interprètes. L’objectif est de mieux comprendre quels types de repères auditifs, visuels, etc., spécifiques sont nécessaires à l’interprétation musicale du répertoire avec électronique en temps réel. On se restreindra donc a priori à des solistes afin de ne cadrer essentiellement que des interactions humain/dispositif, plutôt que cumuler des interactions entre musiciens dont l’observatoire s’avère lourd à mettre en œuvre. On étudiera en particulier dans quelle mesure l’apprentissage porte non seulement sur le texte musical en tant que tel, mais aussi sur le potentiel de variation des différentes façons de le jouer (rendant possible l’adaptation future à la situation réelle du concert).

4.6.2.3.2 Question de méthode : du sujet au co-chercheurL’étude précédente s’appuie sur le paradigme de l’action/cognition située et exploite l’hypothèse d’un accès possible à la conscience pré-réflexive, sommairement définie comme ce que l’acteur peut exprimer du cours de son activité à la faveur de son interruption, même s’il n’en a ni conscience pendant l’action, ni souvenir conscient par la suite. Se pose alors une série de questions épistémologiques et méthodologiques, que nous aborderons en dialogue avec la psychologie, la sociologie et l’anthropologie cognitive : si l’interprète peut être à la fois objet et sujet de la connaissance, quelle reproductibilité des résultats, quelles modalités d’administration de la preuve, quelles perspective de généralisation ? Ces questions seront par ailleurs mises en relation avec celles soulevées dans les laboratoires des établissements délivrant désormais le « doctorat en art », facteur probable de multiplication des recherches où le musicien alterne engagement dans l’action et observation/analyse.

4.6.3 Stratégies d’analyse pour des répertoires spécifiques

4.6.3.1 Analyse des musiques mixtesLa musique mixte est aujourd’hui un objet de production (particulièrement à l’Ircam), au service duquel contribuent plusieurs disciplines scientifiques telles que l’informatique musicale, mais aussi l’ingénierie des connaissance ou la psychologie cognitive. Pour autant, la musique mixte n’apparaît presque jamais comme un objet de recherche à part entière en musicologie, et ce depuis l’origine du genre. Sous l’impulsion de plusieurs chercheurs (notamment A. Bonardi, B. Bossis (Univ. de Rennes), P. Couprie (Paris-IV), V. Tiffon), émerge toutefois une musicologie de la musique mixte, prise à la fois dans ses phases de conception (analyse du processus de composition), d’interprétation (analyse notamment des modalités de spatialisation), et de transmission (préservation des œuvres).

4.6.3.1.1 Propositions méthodologiquesEst-il possible de concevoir aujourd'hui une méthodologie unifiée, tant pour l'analyse des œuvres mixtes du passé (et de ses technologies obsolètes) que pour celle des œuvres mixtes les plus contemporaines (avec ses environnements numériques modulables) ? Comment interroger les œuvres autrement que par la partition rendant compte par définition de manière incomplète le résultat sonore ? Nous partirons du postulat qu’analyser l’œuvre mixte, c’est, schématiquement, analyser à la fois l’œuvre, le patch, et l’activité du Réalisateur en informatique musicale (RIM). Pour concrétiser une approche faisant droit à ces trois aspects, nous proposerons un bilan des travaux menés dans plusieurs disciplines (histoire de la musique, analyse musicale, analyse génétique, sociologie,

40

Projet 2014-2018

informatique musicale, sciences documentaires) et élaborerons des propositions méthodologiques à tester et affiner au fil des projets ci-dessous.

4.6.3.1.2 Visualisation et analyse de patchesAnalyser l’environnement informatique d’une œuvre interactive ouvre la voie à l’analyse des œuvres singulières y faisant appel, mais aussi à une perspective organologique entre œuvres d’un même compositeur, voire à une approche transversale par procédé et variantes de procédé couvrant plusieurs pièces et créateurs. À côté de démarches plus traditionnelles d’analyse de la partition ou du résultat sonore produit (à partir par exemple des spectres), il se dessine une musicologie que l’on pourrait presque qualifier de « computationnelle » non plus au sens de la modélisation symbolique de l’écriture musicale, mais au sens de l’utilisation de résultats informatiques appliqués à l’environnement de synthèse et de transformation du son (lui même informatique). L’approche informatique interviendra ici sous trois espèces : la représentation des connaissances (modélisation des entrées, des sorties et du comportement d’un module de synthèse ou transformation sonore) ; la recherche d’invariants et de configurations-type ; la classification automatique, supervisée ou non, à partir de formalismes communs (comme le langage fonctionnel FAUST). Voir § 4.6.4.3 pour la partie technique. Enfin, cette démarche de modélisation devra aussi interroger la notion d’organologie en contexte numérique, par rapport à l’acoustique, la psycho-acoustique et l’épistémologie.

4.6.3.1.3 Analyse d’œuvresBanc d’essai pour les deux points précédents, une série d’œuvres mixtes emblématiques seront l’objet d’analyse. Une partie de ces analyses, sur les bases de la musicologie traditionnelle, a pour objectif de répondre à des demandes d’interprètes en quête d’informations sur les œuvres et ont vocation à alimenter le projet « Répertoire » coordonné par le Centre de Ressources de l’Ircam. Une autre partie de ces analyses est plus spécifiquement orientée vers les problématiques de pérennisation/conservation des œuvres d’art numérique.Les œuvres pressenties sont en priorité Neptune de Manoury (1991) pour 2 vibraphones, marimba, tam-tam et électronique, et Animus (1995) de Francesconi pour trombone et électronique.

4.6.3.1.4 Remontage d’œuvresSous réserve d’obtention du financement nécessaire, nous expérimenterons une démarche de remontage d’une œuvre de référence du répertoire de l’Ircam – dans le prolongement du travail d’A. Bonardi en 2011 sur la validation du portage en Faust de En Echo de Philippe Manoury. Nous nous intéresserons notamment au concert des dix ans de l’Ircam en avril 1987, qui vit la création de Jupiter de Manoury. Alliant musicologie expérimentale et mise en œuvre informatique, nous nous proposons d’expliciter complètement la configuration de ce concert, aussi bien au niveau technique qu’au niveau des rôles joués par les intervenants à l’époque, puis de re-constituer dans la mesure du possible les moyens techniques de production des œuvres. Les difficultés rencontrées lors de la reconstitution contribueront à la compréhension des enjeux à l’époque, des choix faits et de leurs conséquences. Ce travail devrait aboutir à une restitution sous forme d’atelier-concert, présentant les œuvres dans leurs versions « anciennes » (aussi proche que possible de la configuration d’origine) et actuelles.

4.6.3.2 Documentation et analyse

4.6.3.2.1 …D’une œuvre de référence : Requiem de ZimmermannLe Requiem pour un jeune poète de Bernd Alois Zimmermann retrace musicalement le destin de l’Europe, de la Révolution d’Octobre à l’entrée des troupes du Pacte de Varsovie en Tchécoslovaquie, à travers l’usage de documents sonores d’actualité et de textes poétiques et philosophiques (cf. Rapport 2007-2012). Les dernières recherches que mènera L. Feneyrou s’articulent autour deux axes principaux : 1. L’examen des bandes originales, conservées à Cologne et Freiburg, et qui permettront de mesurer de types de transformation et de spatialisation du son, ainsi que les relations d’intervalles et de temps ; 2. Une étude sur les Recherches philosophiques de Wittgenstein, sur des citations desquelles s’ouvre l’œuvre et qui interrogent le statut du langage dans ce Lingual. L’ensemble des travaux sur le Requiem aboutira à une monographie complète sur cette œuvre.

4.6.3.2.2 …D’un auteur contemporain : Brice PausetEn collaboration avec le compositeur, L. Feneyrou a entrepris un ouvrage monographique qui viendra combler une lacune à un moment où l’œuvre de Brice Pauset connaît une grande reconnaissance internationale, mais où sont encore rares les études qui lui sont consacrées. Outre le catalogue des œuvres et l’édition commentée des écrits et des livrets, déjà achevés, trois chapitres porteront sur une œuvre, mais seront conçus comme trois constellations, où viendront s’agréger d’autres partitions et un tissu de problématiques musicales et esthétiques : le premier, sur les Vanités, interrogera une

41

Unité mixte de recherche STMS Ircam-CNRS

poétique de la mélancolie, l’usage d’un instrumentarium baroque, les formes héritées, mais renouvelées, et une combinatoire compositionnelle encore réalisée à la main ; le deuxième, sur les Exercices du silence, portera sur la CAO et les transformations électroniques en temps réel, et sur la conscience historique de l’œuvre, superposant les strates référentielles ; une ou plusieurs des trois dernières symphonies seront abordées à travers l’analyse des principes d’orchestration du compositeur.

4.6.4 Instrumentation du discours multimédia sur la musiqueCet axe vise le développement d’une ingénierie documentaire multimédia « musico-graphique ». Une partie de nos projets suscitent en effet des développements informatiques et multimédias dédiés pour permettre aux chercheurs de conserver les traces à partir desquelles ils travaillent (brouillons et esquisses de compositeurs, patches informatiques de traitements audionumériques, partitions scannées, fichiers sons etc.) et d’organiser et publier des parcours dans ces corpus de données de recherche numérisés. Ces données, massivement multimédias, protéiformes et liées entre elles (par le travail de composition et/ou par le travail de recherche) sont adaptées à une publication en ligne, utilisant le protocol HTTP et les avancées permises par le HTML5 (intégration en natif et standardisée dans les navigateurs web de fichier audio et vidéo). Les briques logicielles développées ont pour objectif de permettre des restitutions hypermédia fines de ces corpus.

4.6.4.1 Recherches technologiques sur l’audio interactif en contexte webLe projet WAVE, acronyme de Web Audio Visualisation/Edition (ANR ContInt, 2012-2015), vise à formaliser de nouveaux moyens d’édition, de visualisation et d’interaction avec des objets temporels audiovisuels diffusés sur le web. Il donnera lieu à la conception et au développement de briques logicielles concernant les interfaces et interactions utilisateurs, les interfaces audionumériques, les interfaces clients/serveurs, et leurs échanges de données. Ces différentes briques logicielles seront issues de l’analyse de pratiques musicales expertes confrontées à des usages ordinaires d’applications et standards du web, dans le but de proposer des cas d’usages innovants. Le projet a pour objectif d’intégrer ces briques logicielles pour développer de nouveaux services et en enrichir des existants. Le projet utilisera d’une part les standards du W3C (particulièrement HTML5 et la nouvelle plateforme Web) en les complétant si besoin, et d’autre part les possibilités d’interaction offertes par les nouveaux terminaux, afin de proposer des interfaces cohérentes, accessibles et innovantes et des nouvelles expériences utilisateurs adaptées à la consultation, à l’interaction, à l’annotation, à la transformation et au partage d’objets temporels.

4.6.4.2 Outiller l’annotation musicologique de corpus multimédiaLe projet MuTeC a permis, dans son volet technologique (voir Rapport 2007-2012), de poser les jalons d’un outil auteur, accessible en ligne, permettant l’importation de tous type de médias numérisés, leur transcodage pour une diffusion adaptée aux réseaux Internet, et proposant des outils simplifiées d’annotation d’images et de médias temporels (son et vidéos). Partant de ces prototypes logiciels en ligne, nous développerons, d’une part des primitives de bas niveau permettant d’adresser des segments de médias temporels (en se basant sur des normes et spécification du W3C dont Media Fragment et en les intégrant technologiquement sur un serveur), et d’autre part les interfaces utilisateurs pour annoter ces médias. Ces développements se feront à l’occasion de projets de recherche musicologique proposant des cas d’usage et de validation.

4.6.4.3 Outiller l’analyse musicale des patches Max/MSPNous prototyperons plusieurs outils pour l’analyse musicale des patchs Max/MSP dans le domaine de la représentation, en faisant appel à un certain nombre de composants développés dans l’équipe Interactions Musicales Temps Réel (IMTR) : 1) modélisation en logique floue du comportement de modules de transformation du son, en utilisant la libraire FuzzyLib [http://imtr.ircam.fr/imtr/FuzzyLib] ; 2) Représentation synthétique du fonctionnement dynamique des patchs montrant les modules actifs à un moment donné ainsi que leurs connexions en utilisant des composants IMTR ; 3) Recherche et visualisation d’invariants dans le fonctionnement de patchs Max/MSP.

42

Projet 2014-2018

4.7 Equipe Interactions musique mouvement

L’équipe Interactions musique mouvement, précédemment Interactions musicales temps réel, mène des recherches et développements sur les systèmes interactifs dédiés à la musique et au spectacle vivant. Nous proposons de modifier le nom de l’équipe pour deux raisons. D’une part, l’analyse du mouvement et le contrôle gestuel ont pris une part prépondérante dans notre activité. D’autre part, bien que le but principal de nos développements reste lié à des systèmes pour la « performance/interprétation musicale » (par opposition à des aspects d’édition ou de composition), la référence historique au « temps réel » n’est plus une spécificité de l’équipe (de nombreux développements temps réel sont réalisés dans d’autres équipes, et les problématiques des systèmes synchrones sont traitées désormais dans l’équipe Représentations Musicales. Les thèmes de recherche de l’équipe sont décrits en quatre parties : Mouvement et son : modélisation et expérimentation

Cette partie regroupe nos recherches sur les données de captation de mouvement, de geste et de description sonore. Ces données peuvent être considérées généralement comme des morphologies temporelles multidimensionnelles, qu’il s’agit de conceptualiser et modéliser. Ces modèles doivent prendre en compte les contraintes liées à nos applications dédiées au spectacle vivant, ce qui nous force souvent à développer des approches originales. Une autre spécificité de nos travaux concerne l’expérimentation et la modélisation des relations entre gestes/mouvements et sons. Cela implique des contributions scientifiques dans les domaines du traitement du signal, apprentissage automatique (machine learning) et sciences cognitives (apprentissage sensori-moteur, perception).

Synthèse sonore interactiveCette partie regroupe la recherche et le développement logiciel concernant les systèmes de synthèse sonore, privilégiant généralement des paradigmes d’interactions gestuelles ou de navigation spatiale.Ces travaux concernent donc les domaines du traitement du signal audio et apprentissage automatique, et vise une large communauté de chercheurs, artistes et industriels liée aux technologies du son.

Instruments de musique numériques et systèmes interactifs basés sur le gesteIl s’agit dans cette partie d’intégrer les résultats des deux premières, et donc de réaliser des systèmes complets d’interaction musicale, comprenant des interfaces, des systèmes d’analyse de geste, de gestion de l’interaction et de synthèse sonore. De nombreux résultats récents de l’équipe sont concrétisées sous la forme d’instruments, d’interfaces tangibles ou d’installations (par exemple MO, Urban Musical Game, CataRT, MindBox, Mogees), dont les innovations sont à la fois conceptuelles et technologiques. Cette partie a un fort potentiel de valorisation vers l’industrie et un public large (artistes, pédagogues, grand public).

Usages et applications : collaborations artistiquesIl devient de plus en plus important de documenter les études de cas et les collaborations que nous menons avec des artistes (compositeurs, instrumentistes, chorégraphes, designers, pédagogues, etc.). Ce travail nous amène souvent à des méthodologies et solutions originales dont la formalisation et la documentation reste à établir, en particulier en collaboration avec des chercheurs en sciences humaines.

4.7.1 Mouvement et son : modélisation et expérimentationDepuis la création de l’équipe, il est apparu nécessaire de travailler sur la modélisation des données sonores ou gestuelles, avec des points de vue théoriques et expérimentaux, afin de fournir des outils d’analyse adaptés à la performance musicale.

4.7.1.1 Morphologies temporelles Les flux de données sonores ou gestuelles peuvent dans de nombreux cas s’appréhender avec des formalismes identiques, s’agissant dans les deux cas de modéliser ce que nous appelons des morphologies temporelles, c’est à dire l’évolution temporelle de paramètres continus. Ce sont soit des descripteurs sonores ou des paramètres obtenus par des systèmes de captation (accélération, descripteurs obtenus par analyse d’images, pression etc.).

43

Unité mixte de recherche STMS Ircam-CNRS

Nous avons précédemment développés divers types de modélisations, comme des modèles de Markov, semi-Markov ou modèles segmentaux. Néanmoins, nos expérimentations dans les cas de mouvements instrumentaux ou dansés nous ont clairement posés plusieurs « challenges », que nous n’avons pour l’instant que très partiellement approchés : Modélisation des variabilités des morphologies temporelles et « qualités de mouvement »

La caractérisation des variations possibles d’une morphologie temporelle se révèle souvent difficile, les données disponibles étant souvent très incomplètes dans nos applications pour utiliser des méthodes classiques d’apprentissage automatique. Or, la modélisation de telles variations est cruciale pour déterminer des paramètres liés à l’expressivité, l’affect ou le style. Dans le cadre de mouvement dansé, nous avons proposés des modèles physiques simples permettant de modéliser des variations dynamiques de mouvement associées à des « qualités de mouvements » [FdiliAlaoui12b]. Une approche similaire avait été également proposée pour caractériser des modes de jeux instrumentaux [Rasamimanana09b]. L’enjeu est de généraliser ces modèles.

Modélisation des transitions et de la co-articulationNos études sur le geste instrumental ont mis en avant des phénomènes d’anticipation et de coarticulation gestuelle [Rasamimanana09b, Bianco12b], similaires à ceux bien connus de la parole. Chaque unité gestuelle est influencée par le gestes précédents et suivants. Contrairement à la parole où il est possible de prendre en compte un nombre fini de diphones, il n’existe pas de d’approches générales pour les transitions entre unités sonores ou gestuelles. Il s’agit donc de développer un ou des modèles en accord avec nos données expérimentales. Cette tâche est fortement liée à la problématique précédente.

4.7.1.2 Modélisations des relations entre geste et sonsUne spécificité de nos travaux réside dans la modélisation des relations entre morphologies gestuelles et sonores. Cela implique de considérer à la fois des gestes effectués en situation d’écoute [Caramiaux11a] ou dans le cas de contrôle gestuel de sons (instruments acoustiques ou numériques [Bevilacqua11b, 12a]). Nos résultats récents ont clairement montrés la nécessité de modéliser ces relations sur plusieurs niveaux temporels, de l’échantillon (de l’ordre de la ms) à une structure de l’ordre du motif ou de longues phrases (plusieurs secondes ou plus). Des modèles statistiques hiérarchiques sont des candidats intéressants que nous considérons actuellement dans le travail de thèse de Jules Françoise (2012-2014). Une modélisation complète reste une tâche ambitieuse mais avec un impact potentiel important. Ce travail va naturellement impliquer des collaborations avec d’autres équipes à l’Ircam (Perception et Design Sonore, Représentation Musicale, Espaces Acoustiques et Cognitifs) et à l’externe (par exemple le Lip6- UPMC).

4.7.1.3 Apprentissage sensori-moteurLes problématiques sur lesquels nous travaillons concernent généralement des gestes « experts », qu’ils soient des gestes instrumentaux ou dansés. Jusqu’à présent, l’évaluation de nouveaux systèmes d’interaction musicale était effectuée a posteriori, sur la base des usages réels. Une meilleure maîtrise de leur conception passe par la compréhension des processus de leur apprentissage par les utilisateurs. Grâce au projet ANR blanc Legos que nous coordonnons actuellement (2011-2014), nous avons abordé le problème spécifique de l’apprentissage sensori-moteur dans les systèmes sonores contrôlés par le geste. Alors que l’interaction geste/vision a fait l’objet de recherches conséquentes, l’interaction geste/son reste encore très peu étudiée. L’étude de l’apprentissage sensori-moteur touche également à des problématiques liées à la pédagogie (en musique, danse, sport, etc.) ainsi que des applications médicales comme la rééducation. Nous ouvrons donc un large champ d’investigation qui implique de poursuivre des collaborations proches avec des chercheurs en sciences cognitives (et en particulier de poursuivre nos collaborations internes avec les équipes Perception et design sonores et Espaces acoustiques et cognitifs). A moyen terme, ces résultats devraient être exploitables dans des applications industrielles avec des impacts potentiels majeurs dans les domaines de l’industrie audiovisuelle et nouveaux médias, le design sonore interactif mais également dans le domaine médical (nouvelles approches pour la rééducation de pathologies motrices en offrant un retour sonore aux patients dans l’exploration de leurs mouvements).

44

Projet 2014-2018

4.7.2 Synthèse sonore interactiveCet axe de recherche et développement correspond à une évolution naturelle des travaux majeurs de l’équipe sur la synthèse et le traitement sonore en temps réel. Nous avons précédemment proposés des concepts innovants de synthèse basés sur des contenus sonores enregistrés ainsi que des plateformes logicielles (FTM & Co, CataRT, Mubu, IAE, IMTReditor, ZsaZsa) permettant l’expérimentation de prototypes de systèmes interactifs sonores. Nous allons poursuivre selon deux axes : premièrement, nous allons travailler sur l’intégration de techniques de synthèse habituellement considérées comme distinctes, basées par exemple sur des modèles de signaux ou des modèles physiques, afin d’aboutir à de nouvelles techniques hybrides qui devraient nous permettre d’obtenir de nouveaux «objets sonores », couplés à de nouveaux modes de contrôle expressif. Deuxièmement, il s’agit de poursuivre et d’élargir nos systèmes de synthèse basés sur des contenus enregistrés en considérant désormais des bases de données multimodales (son, geste, images).

4.7.2.1 Synthèse sonore hybrideDiverses techniques de synthèse sonore sont utilisées dans les systèmes interactifs ou instruments numériques. On peut distinguer au moins trois catégories de techniques de synthèses : (1) les méthodes d’analyse/resynthèse basées sur des modèles de signaux et des modèles statistiques/stochastiques [Schnell05b], (2) la synthèse par corpus basées sur des descriptions de matériaux sonores [Schnell09a, Schwarz08c] et (3) la synthèse par modèles physiques.L’intégration de telles techniques, dans le but de combiner les avantages propres à chacune, a un fort potentiel d’application. Nous proposons donc d’établir des hybridations de techniques afin d'élargir les palettes de sonorité, mais surtout pour proposer de nouvelles approches de génération de comportements morphologiques sonores. Cela implique également de nouvelles opportunités pour le contrôle de la synthèse.Ces travaux impliquent de travailler à la fois à un niveau conceptuel, en collaboration avec les équipes Analyse/synthèse et Acoustique instrumentale, et un niveau de développement informatique afin de garantir une véritable intégration des diverses techniques (et non une simple juxtaposition généralement peu efficace). Précisément, il s’agira de : identifier des points d'articulation entre différentes techniques ; unifier et hybrider les modèles de calculs, pour l'instant séparé en calcul par trame, par segment

et par calcul récursif ; développer des hybridations entre modèles physiques et modèles de signaux en partant des

modèles existant tel que les FOF (formes d'ondes formantiques) ainsi que les modèles de résonances et la synthèse modale ;

intégrer des modèles de signaux et des modèles physiques dans le cadre formel de la synthèse par corpus. Ce dernier point rejoint le thème développé dans la section suivante.

4.7.2.2 Extensions de la synthèse par corpusNous avons été pionniers dans le développement de méthodes de synthèse concaténative basée sur des sons enregistrés formant des corpus sonores [Schwarz07b, 06a]. Nous décrivons ci-dessous plusieurs enjeux pour l’extension de ces méthodes de synthèse.Un premier enjeu est de généraliser ces méthodes à des bases de données hétérogènes et multimodales. Ces corpus peuvent être par exemple composés de sons, descripteurs sonores et catégories, données et descripteurs gestuels, images, vidéo. Ils peuvent également contenir des propriétés statistiques et temporelles des processus qui ont généré le corpus. De tels corpus hétérogènes constituent donc un ensemble de données regroupant à la fois la modélisation, l’interaction et le contrôle de la synthèse de médias numériques. Il s’agit donc de spécifier un modèle, indépendant du stockage physique, définissant les dépendances, hiérarchies et synchronisations entre flux de données, et qui puisse être utilisé de manière expressive par l’utilisateur. Ce dernier point est en lien avec les problématiques d’interface auteur que nous reprenons dans la section suivante. Cette axe de recherche peut être vu comme la poursuite des travaux effectués actuellement dans le cadre du projet ANR Topophonie (2010-2012), où sont considérés des objets sonores et graphiques, appelés « topophonies » (ou audiographiques).Un deuxième enjeu et d’étendre le paradigme de la synthèse par corpus au contrôle d’autres méthodes de synthèse sonore comme la synthèse par modèles physiques. Il s’agit alors de créer des relations entre des descripteurs acoustiques/perceptifs et des jeux de paramètres de modèles physiques (qui amène donc à une hybridation de techniques de synthèse, comme développé dans la section précédente).

45

Unité mixte de recherche STMS Ircam-CNRS

Un troisième enjeu concerne l'intégration de transformations sonores. En effet, la synthèse par corpus peut inclure une étape de transformation sonore postérieure à la sélection d’unités. Il s’agit d’utiliser des opérateurs de traitement de signal afin d'atteindre au plus près la spécification d’une cible de synthèse. Ceci a été appliqué pour l’instant dans la synthèse concaténative à la hauteur et l’énergie du son [Einbond12a]. La généralisation de cette approche peut s’apparenter à la technique appelée feature modulation synthesis (FMS), dont l’objet est la recherche de la combinaison optimale de transformations afin d'obtenir un résultat perceptif donné. La difficulté majeure provient de l’interdépendance des différentes transformations possibles affectant plusieurs descripteurs perceptifs à la fois. Dans le cas de la synthèse par corpus, une approche possible consiste à étendre un corpus par génération automatique d’unités transformées [Schwarz10a]. Il s’agit alors de définir un ensemble de transformations permettant d'atteindre les descripteurs souhaités, tout en réduisant la combinatoire de l'espace de recherche. Cela demande en fait de modéliser les effets d'une transformation sur les descripteurs perceptifs. Dans ce cas, des modèles de synthèse hybrides basés sur des représentations paramétriques du signal (cf. la section précédente) permettraient des transformations plus souples et de très haute qualité.

4.7.3 Nouveaux instruments de musique numériques et systèmes interactifs sonoresLes modèles et développement présentés précédemment nous permettent de réaliser des prototypes complets de systèmes interactifs sonores. La notion d’instruments de musique numériques, à considérer dans un sens élargi, est mise en avant afin d’insister sur l’aspect complet de ces prototypes mettant en jeu à la fois des aspects conceptuels et d’innovations technologiques sur les interfaces, la gestion de l’interaction et les systèmes de production sonore.

4.7.3.1 Interfaces tangibles et système de captationNous allons poursuivre nos développements d’interfaces tangibles et de captation de mouvements. Les objectifs sont principalement d’adapter et d’intégrer des composants matériels existants, comme des capteurs et modules de transmission sans fil, dans des systèmes adaptés à nos besoins. De manière générale, les spécifications des systèmes pour la musique et le spectacle vivant sont différentes à la fois de celles dédiées uniquement à l’expérimentation en laboratoire ou celles pour les jeux vidéo. L’enjeu ici est principalement d’anticiper des usages nouveaux en privilégiant une grande cohérence entre nos développements hardware et software. Deux axes feront l’objet d’investigations. D’une part l’intégration de nos systèmes de captation avec les plateformes mobiles, et d’autre part l’intégration de nouveaux systèmes haptiques émergents. Ce dernier point se fera en collaboration avec les laboratoires spécialistes dans ce domaine (potentiellement l’lSIR à l’UPMC). Nous évaluerons également la pertinence pour nos applications de systèmes de captation basés sur les EMG ou EEG.

4.7.3.2 Nouveaux modes pour l’édition de l’interaction (interaction authoring)Nos récentes applications (comme celles liées aux projets Interlude, Urban Musical Game ou Topophonie) ont clairement souligné le manque de souplesse des environnements actuels pour créer et gérer des cas complexes d’interactions musicales. Par exemple, les systèmes comme Max, qui nécessitent une programmation en considérant des flux de signaux (dataflow), sont peu adaptés pour gérer des bases de données, des morphologies temporelles, ou des scénarios d’interaction complexe multi-utilisateurs. Nous proposons d’explorer de nouveaux paradigmes pour créer et éditer des scénarios d’interaction, dépassant les paradigmes actuels de dataflow. Plus précisément, il s’agit de fournir à un utilisateur non-programmeur de véritables possibilités d’appropriation des outils logiciels de reconnaissance de geste et de synthèse sonore interactive. Un des enjeux est d’effacer les frontières entre la « programmation » de l’interaction et la « performance », et de décloisonner les différentes communautés d’utilisateurs potentiels – programmeurs, artistes, pédagogues. Les implications potentielles sur les usages sont donc considérables. Cela pose de en fait nouvelles questions de recherche et développement. D’un point de vue technique, ceci demande de créer un environnement « auteur » et de « performance » qui intègre plusieurs niveaux : flux de donnée temps réel de capteurs, structuration hiérarchique du temps, intégration d’apprentissage automatique dans des scénarios interactifs. Le défi est donc de proposer un formalisme et des interfaces utilisateurs adéquats prenant en compte tous ces aspects. Certains travaux initiés dans le projet ANR Interlude nous donnent des bases intéressantes pour réaliser des premiers prototypes.Il s’agit également de prendre pleinement en compte les nouveaux usages qui apparaissent avec les nouvelles plateformes mobile et webaudio qui vont jouer un rôle de plus en plus important dans la

46

Projet 2014-2018

création artistique liée aux nouveaux médias. Nous allons participer au projet ANR Wave coordonné par l’équipe Analyse des pratiques musicales, qui nous permettra d’avancer sur les problématiques webaudio.

4.7.3.3 Interaction collaborativeLe contexte de la musique est riche en paradigmes d’interactions collaboratives, comme la pratique de la musique en groupe (musique de chambre, orchestre) ou encore l’interaction entre un chef et les musiciens de l’orchestre. Pourtant, les technologies informatiques d’interaction musicale restent principalement orientées vers une interaction entre un seul musicien et un ordinateur. Un défi actuel consiste précisément à dépasser un paradigme d’interaction « homme-machine » vers des pratiques innovantes d’interaction multi-utilisateurs, où le rôle de l’ordinateur devient celui d’un agent médiatisant un processus sonore résultant d’une co-interprétation ou co-création. Principalement, nous proposons de développer et évaluer des paradigmes d’interaction collective et collaborative, mettant à profit des technologies numériques. Ces paradigmes peuvent s’inspirer d’études des stratégies de coopération et coordination existant en musique. Ce projet pourra également s’appuyer sur nos développements actuels d’interfaces tangibles connectées sans fil et devrait profiter de plusieurs collaborations externes (actuellement en discussion). Ces travaux s’inscrivent naturellement dans le contexte technologique des dispositifs électroniques nomades en réseaux où la musique joue déjà un rôle important pour les contenus numériques.

4.7.4 Usages et applications : collaborations artistiques et pédagogiquesLes travaux de notre équipe sont de nature interdisciplinaire, et sont valorisées concrètement dans des productions artistiques ou dans des applications industrielles. De fait, nous sommes fréquemment impliqués dans des projets de recherches artistiques, comme les résidences de compositeurs à l’Ircam. Ces collaborations, d’un point de vue de la recherche, peuvent être assimilées à des études de cas. Elles jouent un rôle central pour la définition de spécification de nos développements, et servent également de validation. Il nous est désormais essentiel de renforcer la visibilité et la documentation des ces études de cas et collaborations. Cela devrait nous amener à travailler plus étroitement avec des équipes liées aux sciences humaines, comme l’équipe Analyse des pratiques musicales à l’Ircam et avec les compositeurs en recherche et en résidence.

4.7.4.1 Geste musical et geste danséNous travaillons régulièrement avec des compositeurs et interprètes qui utilisent nos technologies de captation et de synthèse. L’accumulation de nos expériences forme une base de réflexion qu’il est désormais nécessaire de formaliser, afin d’expliciter les divers usages et approches liées par exemple aux interfaces gestuelles. Ce travail nécessite en fait une réflexion plus générale, d’ordre musicologique, sur les diverses conceptions du « geste musical », et se fera donc en collaboration avec l’équipe Analyse des pratiques musicales.En parallèle, notre travail avec des chorégraphes sur les gestes dansés nous amène à travailler sur l’usage de technologies de captation à des fins de notations et transmissions. Le workshop que nous avons organisé en 2012 sur les qualités de mouvement a clairement montré l’intérêt d’une communauté interdisciplinaire émergente travaillant sur des divers systèmes interactifs et intégrant des concepts issus de la danse. Un travail de documentation de nos projets interdisciplinaires entre mouvement et technologies est à mener (un travail est en cours avec le compositeur Thierry de Mey par exemple). Nous prévons également l’organisation de rencontres internationales sur ce thème au cours des années à venir.Notons également que nos technologies d’interfaces gestuelles sont régulièrement utilisées dans des contextes pédagogiques (par exemple en collaboration avec les Ateliers des Feuillantines), et qu’un travail de documentation permettrait d’expliciter des processus d’apprentissage et d’appropriation de nos outils.

4.7.4.2 Evaluation de systèmes interactifs dans un contexte artistiqueL’évaluation des systèmes technologiques utilisés dans des contextes artistiques reste très difficile, puisque les méthodologies courantes sont généralement inadaptées. Une réflexion générale sur cette problématique doit être entreprise, en lien avec les communautés scientifiques concernées (IHM, sciences humaines, sciences cognitives) afin de converger vers des méthodologies qui seraient partagées par une large communauté de concepteurs et d’utilisateurs.

47

Unité mixte de recherche STMS Ircam-CNRS

4.8 Centre de ressources Ircam

Le Centre de Ressources de l'Ircam (CRI) a été créé en janvier 2012. Ce nouveau service transversal, rattaché au Département R&D, prend la suite du Département Médiathèque mais aussi de plusieurs projets éditoriaux et archivistiques développés dans les Départements Pédagogie & action culturelle et Médiations Recherche/Création. Le CRI rassemble l'ensemble des supports de connaissance et de création de l'Institut : archives des concerts et conférences, partitions, articles scientifiques et de vulgarisation, etc. Plus généralement, le CRI a vocation à constituer et diffuser des corpus de références sur la musique contemporaine, sur les relations art/science/technologie et sur la recherche musicale. Toutes ces ressources sont mises à disposition du public par la Médiathèque de l'Ircam et par les bases de données fédérées par le site http://ressources.ircam.fr (ouvert au public en 2011).

4.8.1 MédiathèqueLa médiathèque de l'Ircam se consacre à la musique contemporaine et aux les sciences et technologies de la musique et du son. Constitué de près de 35000 documents, son fonds s'enrichit sans cesse en relation avec la programmation musicale et les activités de recherches de l'institut. Ouverte depuis 1996, la médiathèque s'adresse aussi bien à un public spécialisé d'étudiants, d'enseignants, de chercheurs, de musiciens et de professionnels de la musique qu'aux mélomanes. La salle de lecture propose en consultation sur place ou en prêt une collection de livres, partitions, périodiques, thèses, enregistrements sonores, films et notes de programme.

4.8.2 Gestion des documents multimédia et textuelsLa production scientifique et artistique de l’Ircam se concrétise par des publications et par des événements publics (concerts, conférences…) qui donnnent lieu à archive. Deux bases de données dédiées à cet archivage feront l’objet d’une complète refonte technique pendant le quadriennal afin de répondre aux nouveaux enjeux de diffusion culturelle de l’Institut, ArchiProd et Architextes.

4.8.2.1 ArchiProdLa base de données ArchiProd a vocation à rassembler tous les documents audio et vidéo internes à l’Institut, à la fois passés (via une politique de numérisation et de cataloguage) et présents/futurs (en relation avec les différents services de l’Ircam producteurs de contenus artistiques, technologiques, scientifiques).

4.8.2.2 ArchitextesLa base de données Architextes, principalement alimentée par les membres du département R&D, répertorie toutes les publications (scientifiques mais aussi de vulgarisation) de l’Institut depuis ses débuts. Une partie des références bibliographiques sont accompagnées du texte correspondant. Le projet déjà initié de transfert automatique vers HAL sera mené à bien.

4.8.3 Corpus documentaires sur la musique contemporaine Le CRI alimente trois bases de données essentielles à la fois à la préservation des productions de l’Institut et à la diffusion publique des savoirs sur la musique contemporaine. Il s’agit, d’une part, de documenter notre propre production musicale : Sidney est un outil d’archivage pour toutes les ressources techniques permettant de rejouer les œuvres produites à l’Institut, tandis que Répertoire explicite des connaissances et des acquis esthétiques d’une large sélection de ces œuvres. D’autre part, c’est plus largement l’ensemble des compositions musicales contemporaines qui sont référencées dans Brahms avec l’aide de musicologues internes et externes à l’Institut. Ces trois bases seront maintenues techniquement, enrichies éditorialement, et progressivement couplées les unes aux autres pour faciliter les consultations croisées.

4.8.3.1 BRAHMSBRAHMS68 (Base de données relationnelle hypermédia sur la musique contemporaine) est la principale encyclopédie francophone en ligne des compositeurs actifs depuis 1945. Elle met gratuitement à disposition du public les notices biographiques et les catalogues d’œuvres

68 http://brahms.ircam.fr

48

Projet 2014-2018

(régulièrement mis à jour) de plusieurs centaines de compositeurs, ainsi qu’une sélection de textes musicologiques originaux introduisant à l’esthétique des principaux créateurs des XXe et XXIe siècles. Enfin, elle offre des outils de recherche adaptés à différents besoins (programmateurs, chercheurs, mélomanes).Les compositeurs présents dans la base Brahms apparaissent en tête des résultats des principaux moteur de recherche Google et Bing. Les moteurs de recherche représentent 75 % de notre source de trafic. Wikipedia est un point d'entrée important (14 000 visiteurs / an). Plus de 200 000 visiteurs uniques consultent la base chaque année, dont 70% en provenance de pays francophones. Les visiteurs restent en moyenne plus de 2'20.

4.8.3.2 RépertoireLe projet Répertoire (Ressources pour la connaissance et l'interprétation du répertoire de l'Ircam), initié par A. Gerzso en 2007, vise à mettre à disposition du public musicien un ensemble d’informations pratiques et théoriques sur les œuvres marquantes composées et/ou créées à l’Ircam depuis sa fondation. Un ensemble de contributions prototypiques a été réuni et formaté en vue d’une mise en ligne définitive et d’un enrichissement régulier dès 2012.

4.8.3.3 SidneyLa base de données Sidney69 réunit les documentations techniques des œuvres produites à l’Ircam, soit l’équipement, les instructions et diagrammes, et les patches informatiques nécessaires à l’exécution en concert de ces dernières. Elle est alimentée par les Réalisateurs en informatique musicale de l’Ircam qui sont partenaires de la conception de cette base et de ses évolutions.

4.8.4 RessourcesLe site web Ressources70 a vocation à rassembler et intégrer, tant techniquement qu’éditorialement, toutes les bases de données précédentes en vue de disséminer au mieux la recherche artistique, scientifique et technologique de l’Ircam auprès de ses différents publics et selon différents canaux. Ce site a donc vocation à diffuser le plus largement possible les données recensées dans les précédents paragraphes et constituera un laboratoire pour un ensemble de développements technologiques facilitant la consultation publique de ces données (accessibilité sur différents terminaux, modalités innovantes de recherche et de visualisation des documents, moyens d’appropriation des documents par le lecteur en ligne, etc.).

4.8.5 Expertise Le Pôle développement du CRI fournit aux Services et Départements de l’Ircam une expertise dans les technologies web et bases de données allant du conseil en conception (par ex. pour l’infrastructure du projet européen ULYSSES) à la réalisation et la maintenance de systèmes d’information (par ex. pour le site institutionnel de l’Ircam, www.ircam.fr/).

69 http://brahms.ircam.fr/sidney/70 http:// ressources.ircam.fr

49

Unité mixte de recherche STMS Ircam-CNRS

5 Annexes

5.1 Annexe 1 : Séminaire Janus de l’Ircam – 9-10 janvier 2012

5.1.1 Attendus initiaux et organisation

Le séminaire s’est tenu à l’Institut Suédois les 9 et 10 Janvier 2012. Les attendus initiaux du séminaire et son organisation, tels qu’ils ont été diffusés, sont donnés ci-après.

1. Positionnement à long terme de l’Ircam dans les champs artistique, technologique, scientifique pour :

- éclairer et infléchir certaines actions structurantes de l’Ircam, en cours et à venir, dans les directions explicitées lors de ces journées (session de synthèse).

- Alimenter la définition d’une prospective de recherche pour l’élaboration du projet d’UMR 2014-2018.

2. Périmètre   : L’ensemble des chercheurs permanent du département R&D, soit en CDI, soit issus du CNRS, de l’Inria ou d’autres organismes universitaires, soit en CDD pendant plus de 6 mois en 2012, RIM y compris les CDD, chargés de production artistique, soit 70 personnes.

3. Objectifs des journées   : - Interroger les nouvelles pratiques de la recherche et de la création ; - Renouveler le rayonnement national et international de l’Ircam ;- Consolider la singularité de l’Ircam dans le contexte de l’évolution de la recherche et de la création. - Profiter d’un échange transversal (approche bottom-up) au sein même de la maison

4. Les thématiques   : Les thématiques (4.1) seront travaillées par des questions spécifiques, par des perspectives transversales (4.2) et nourries par les expériences internes ou externes à l’Ircam (fonction des rapporteurs pour chaque point des thématiques).

4.1 Thématiques

1. Mutation des pratiques artistiques : position et anticipation de l’Ircam1.1. Panorama des nouvelles pratiques artistiques impliquant la création sonore1.2. Situation de la musique mixte dans le domaine de la composition, situation de la création musicale dans le contexte pluridisciplinaire1.3. Rôle à venir de l’interprète, au-delà des créneaux de la spécialisation1.4. Evolution de la relation à la technologique et à la recherche des compositeurs1.5. Modalités de travail de l’artiste dans les studios de l’Ircam : durée, processus

Table ronde introductive : Nicolas Donin/ Eric Daubresse / Serge Lemouton /

2. Périmètre du champ scientifique et technologique de l’Ircam2.1 Quelles sont les attentes de la recherche musicale ? Quelles problématiques posent-elles ?2.2. Directions de recherche émergentes, nouveaux paradigmes scientifiques et leurs potentialités artistiques2.3 Prise en compte des évolutions technologiques : lesquelles intégrer et sous quelle forme ? Quelle complémentarité du développement avec les acteurs privés ?2.4 Influence des contraintes de financement dans les objets et les modes de recherche et développement2.5 Retombées sociétales : champs d’applications, contribution au débat public

Table ronde introductive : Gérard Assayag / Olivier Warusfel / Axel Roebel / Frédéric Bévilaqua

3. Périmètre du champ artistique de l’Ircam 3.1 Modes, postulats explicites/implicites et critères de recrutement des artistes

50

Projet 2014-2018

3.2 Diversité des formats pratiqués à l’Ircam : pertinence et limitations. Quels formats et modes de programmation nous offrent les nouvelles technologies et leurs pratiques ?3.3 Elargissement des « usages » de l’Ircam (via le Forum ou Ircam Tools) 3.4 Nécessité, fonction et contrainte de la dimension technologique dans la poétique d’une œuvre 3.5 Potentiel et limites des collaborations avec d’autres disciplines artistiques

Table ronde introductive : Thomas Goepfer / Norbert Schnell/ Mauro Lanza

4. Transmission , diffusion et coordination Recherche/Création4.1 Transmission externe : les relais prioritaires pour la transmission des savoirs, des œuvres et des pratiques (nouveaux médias, ressources en ligne, formations, académies, et antennes…)4.2 Diffusion de l’offre technologique : quels objets pour quelles cibles ? Quelles complémentarités et coordination des offres (Forum, collections Ircam Tools et IrcaMax, diffusion libre, etc.).4.3 Pérennité des œuvres expérimentales: l’échappée hors du laboratoire4.4 Caractérisation de la culture Ircam et des modes de collaboration : Situation et rapport entre les différentes cultures de l’Ircam / Evolution des modes de coordination : rôle des RIMs, compositeurs en recherche, intégration de la dimension artistique dans les projets, développement / Modes et processus de capitalisation des productions et expériences / Méthodes et technologies pour la pérennité des œuvres.

Table ronde introductive : Frederick Rousseau / Mikhail Malt / Grégoire Lorieux / Emmanuel Jourdan

4.2 Perspectives transversales pour chaque chaque thématique1. Quels bilan et retours d’expérience ?2. Quels positionnement et spécificité de l’Ircam dans le champ concerné ?3. Quelle mobilisation de compétences internes/externes et stratégie d’alliances ? 4. Quel apport et mode d’intégration de la technologie dans le champ concerné ?5. Quelle coordination interne autour du projet concerné ? 6. Quel positionnement intellectuel et sociétal de l’Ircam porté par le champ investi ?

5. Le format   :

Les participants sont répartis en 4 groupes d’environ 15 personnes. Le format de traitement d’un thème est le suivant :

- 30 à 40 ‘ : table ronde présentant les enjeux : 3/4 intervenants issus des participants et désignés en amont, modéré par un directeur problématisant le sujet.

- 2h00 à 2h30 d’échange- 1h00 à 1h30 de restitution fait par un rapporteur désigné soit 15’ par groupe.- Le groupes sont reconstitués chaque jour pour favoriser les échanges

-

5.1.2 Bilan du séminaire JanusA l’issue des 2 jours, 20 rapports ont été produits par les rapporteurs désignés par les groupes, base de la synthèse, et rendus accessibles sur l’Intranet de l’Ircam.

Une synthèse par la direction de l’Ircam a fait l’objet d’une réunion plénière le 16 mars 2012.

51

Unité mixte de recherche STMS Ircam-CNRS

5.2 Annexe 2 : Séminaire Prospective R&D 2012 – 21-22 Mars 2012

L’objet du séminaire était de susciter, selon un processus bottom-up, les contributions de l’ensemble des collaborateurs de l’UMR en vue de la la préparation du projet de recherche 2014-2018, et de favoriser les échanges interpersonnels, compte tenu du turnover important des collaborateurs.

Le principe d’organisation s’est fait sous la forme d’un appel à communications orales de 10 mn sur des sujets prospectifs laissés à l’initiative de chacun, et pouvant associer plusieurs personnes, y compris de plusieurs équipes. Cette proposition a remporté un vif succès, puisque 52 communications ont été proposées et ont été présentées en 8 sessions sur deux jours, chaque session se terminant par un échange collectif. Le planning a été élaboré de manière collaborative à partir d’un document distribué, en regroupant les différentes interventions selon les thèmes émergents qu’elles ont suscités. Le séminaire s’est tenu les 21 et 22 mars 2012 au CentQuatre (Paris 19ème) et a réuni 70 personnes par jour.

Le contenu et le planning des échanges sont donnés ci-après. L’intégralité des diapos et documents présentés ont été rendus accessibles sur l’Intranet de l’Ircam. Ces échanges ont favorisé l’intégration des nouveaux arrivants et ont suscité l’émergence de nouvelles idées et collaborations entre équipes qui ont contribué à l’élaboration finale du projet de recherche.

Début Durée Titre Contributeurs Equipe départ Thème 1 Thème 2

09:30:00 00:05:00 Intro

Session 1 mer 9h30-11h15

09:35:00 00:10:00 Exposé Géométrie, espace et son

Joel Bensoam, Arnaud Dessein, Diemo Schwarz, Arshia Cont

Ac. Instr Représentations et MIR

09:45:00 00:10:00 Exposé

Instruments de musique hybrides: contrôle et asservissement

Adrien Mamou-Mani, Thomas Hélie, René Caussé, Alain Terrier, Gérard Bertrand

Ac. Instr Acoustique

09:55:00 00:10:00 Exposé

Rayonnement des sources sonores : modélisation, perception, reproduction, contrôle...

René Caussé, Markus Noisternig, Adrien Mamou-Mani, Olivier Warusfel, Joel Bensoam

Ac. Instr Acoustique

10:05:00 00:10:00 Exposé Spatial Textures

Rama Gottfried, Markus Noisternig, Thibaut Carpentier

EAC Acoustique

10:15:00 00:10:00 Exposé Emotion, espace et son

Isabelle Viaud-Delmon EAC User-

centered

10:25:00 00:10:00 Exposé

Wavelets and frames for space-time-frequency representation of acoustic wave fields

Markus Noisternig, Marco Liuni

EAC Acoustique

52

Projet 2014-2018

10:35:00 00:10:00 Exposé Autres thèmes EAC Olivier Warusfel EAC Acoustique

11:15:00 00:30:00 Pause

Session 2 mer 11h45-13h30

11:45:00 00:10:00 Exposé

Granularité (temporelle) de l'information et de l'interaction sonores

Olivier Houix,Patrick Susini, Nicolas Misdariis

PDS Structures temporelles

11:55:00 00:10:00 Exposé

Outils pour le design sonore : 1/ Imitation vocales et gestuelles pour le design sonore

Olivier Houix,Eric Boyer, Patrick Susini

PDS Contrôle de la synthèse

User-centered

12:05:00 00:10:00 Exposé

Outils pour le design sonore 2/ Contrôle perceptif de la synthèse sonore

Nicolas Misdariis PDS Contrôle de la synthèse

12:15:00 00:10:00 Exposé

Relations entre esthétique, usage et émotion pour le design sonore

Eric Boyer, Olivier Houix, Patrick Susini

PDS Analyse et création

User-centered

12:55:00 00:35:00 Questions

13:30:00 01:00:00 Déjeuner

Session 3 mer 14h30-16h15

14:30:00 00:10:00 Exposé Radically embodied digital music

Baptiste Caramiaux IMTR Embodiment

14:40:00 00:10:00 Exposé

Setting-up (programming ?), learning and perceiving gestural interaction

Frederic Bevilacqua IMTR User-

centered

14:50:00 00:10:00 Exposé

Hybridization of Physical Models and Signal based Models for sound and gesture interaction

Frederic Bevilacqua, Norbert Schnell

IMTR Modèles physiques

15:00:00 00:10:00 ExposéUSESI: Ubiquitous Situated Embodied Sonic Interaction

Diemo Schwarz IMTR Informatique ubiquitaire

15:10:00 00:10:00 Exposé

Playing the City: Urban Environnement as virtual instrument

Sara Adithya, Diemo Schwarz, Nicolas Misdariis

PDS Informatique ubiquitaire

15:20:00 00:10:00 Exposé

Movement and Dance analysis for the Human Computer Interaction

Sarah Fdili Alaoui, Frédéric Bevilacqua

IMTR Analyse et création

53

Unité mixte de recherche STMS Ircam-CNRS

15:30:00 00:10:00 Exposé

Appropriation et création de contenus grâce à des systèmes interactifs

Frédéric Bevilacqua, Fabrice Guédy

IMTR Design d'IHM

15:40:00 00:35:00 Questions

16:15:00 00:30:00 Pause

Session 4 mer 16h45-18h30

16:45:00 00:15:00 ExposéMusicologie des processus compositionnels

Nicolas Donin APM Analyse et création

17:00:00 00:10:00 ExposéAnalyse du répertoire et des pratiques mixtes

Vincent Tiffon, Alain Bonardi APM Analyse et

création

17:10:00 00:10:00 ExposéComment cerner l'esthétique d'un compositeur actuel ?

Laurent Feneyrou APM Analyse et création

17:20:00 00:10:00 Exposé

Geste musical : quels liens entre cognition et artefacts technologiques ?

Frédéric Bevilacqua, Nicolas Donin

APM User-centered

Analyse et création

17:30:00 00:10:00 Exposé Web AudioSamuel Goldszmidt, Norbert Schnell

APM Informatique ubiquitaire

18:00:00 00:30:00 Questions

Session 5 jeu 9h30-11h15

09:30:00 00:10:00 ExposéThe conversion and creation of spoken and sung voices

Stefan Huber AnaSyn Voix

Transformation et analyse du son

09:40:00 00:10:00 Exposé

Analysis and transformation of source parameters of speech and singing signals

A. Roebel, T. Hezard, T. Hélie, S. Huber

AnaSyn Voix

Transformation et analyse du son

09:50:00 00:10:00 ExposéNouveaux outils pour la transformation du son

Thomas Hélie, Axel Roebel, Sean O'Leary,Mathieu Lagrange

AnaSyn

Transformation et analyse du son

10:00:00 00:10:00 ExposéExpressive sound synthesis and transformation

Axel Roebel AnaSyn

Transformation et analyse du son

10:10:00 00:10:00 ExposéModeling and manipulation of sound textures

W H Liao, Axel Roebel AnaSyn

Transformation et analyse du son

10:20:00 00:10:00 Exposé Music transcription, Music re-composition

Thomas Hélie, Axel Roebel, AnaSyn Transformati

on et

54

Projet 2014-2018

Sean O'Leary,Mathieu Lagrange

analyse du son

10:30:00 00:10:00 ExposéAutomatic Adaptation of Sound Processing Techniques

Marco Liuni AnaSyn

Transformation et analyse du son

10:40:00 00:10:00 Exposé Think Sound Stefan Huber AnaSyn Design d'IHM

Contrôle de la synthèse

10:50:00 00:25:00 Questions

11:15:00 00:30:00 Pause

Session 6 jeu 11h45-13h30

11:45:00 00:10:00 Exposé

Du corps au son : contrôle vocal physique de synthèse sonore

Nicolas Obin AnaSyn Contrôle de la synthèse Voix

11:55:00 00:10:00 Exposé Music + Computer Geoffroy Peeters AnaSyn Contrôle de la synthèse

Représentations et MIR

12:05:00 00:10:00 ExposéHigh-Level Control of Synthesis / Transformation

Geoffroy Peeters AnaSyn Contrôle de la synthèse

Représentations et MIR

12:15:00 00:10:00 Exposé Contrôle et interactions

Jean Philippe Lambert AnaSyn Représentati

ons et MIR

12:25:00 00:10:00 ExposéAutour de la modélisation physique

Thomas Hélie, Thomas Hézard AnaSyn Modèles

physiques

12:35:00 00:10:00 Exposé Nouveaux outils de visualisation

Thomas Hélie, Charles Picasso AnaSyn Design

d'IHM

12:45:00 00:10:00 Exposé

Modèle/langage de "communication" entre la création du son et l'analyse musicale

Geoffroy Peeters AnaSyn Représentations et MIR

12:55:00 00:10:00 Exposé Représentation des connaissances Geoffroy Peeters AnaSyn Représentati

ons et MIR

13:05:00 00:25:00 Questions

13:30:00 01:00:00 Déjeuner

Session 7 jeu 14h30-16h15

14:30:00 00:10:00 Exposé

Visualisation et manipulation de structures multi-échelles

Benjamin Lévy RepMus Structures temporelles

14:40:00 00:10:00 Exposé Géométrie de la musique Arnaud Dessein RepMus

Approches formelles en info

55

Unité mixte de recherche STMS Ircam-CNRS

14:50:00 00:10:00 ExposéLangage complexe cherche problème simple ...

Louis Bigo RepMusLangages, architectures

15:00:00 00:10:00 Exposé

Quand la musique étudie la science - Séries temporelles et épistémologie

Philippe Esling RepMus Structures temporelles

15:10:00 00:10:00 Exposé

Nomadic Musical Intelligence: A coupled challenge for computer languages and artificial intelligence applied to music

Arshia Cont RepMus Informatique ubiquitaire

15:20:00 00:10:00 Exposé MIR symbolique Florent Jacquemard RepMus Représentati

ons et MIR

15:30:00 00:10:00 Exposé Méthodes formelles Florent Jacquemard RepMus

Approches formelles en info

15:40:00 00:10:00 Exposé

Maths/Musique & Informatique [ou mathématiques pour l'informatique musicale

Moreno Andreatta, Carlos Agon, Jean-Louis Giavitto

RepMusApproches formelles en info

15:50:00 00:25:00 Questions

16:15:00 00:30:00 Pause

Session 8 jeu 16h45-18h30

16:45:00 00:10:00 ExposéVers une sonification structurelle des données

Moreno Andreatta, Jean-Louis Giavitto, Mathieu Lagrange, Nicolas Misdariis, Isabelle Viaud-Delmon

RepMus Représentations et MIR

16:55:00 00:10:00 Exposé

Programmes réactifs pour la composition assistée par ordinateur.

Jean Bresson RepMusLangages, architectures

17:05:00 00:10:00 Exposé

Un pour Tous et Tous pour Un, vers des outils de conception participative

Jérémie Garcia RepMus Design d'IHM

17:15:00 00:10:00 ExposéVers de nouvelles formes de systèmes informatiques

Jean-Louis Giavitto, Laurent Ghys

RepMus Informatique ubiquitaire

17:25:00 00:10:00 Exposé La renaissance du parallélisme massif

Gérard Assayag, Laurent Ghys RepMus Informatique

ubiquitaire

56

Projet 2014-2018

17:35:00 00:10:00 Exposé

Concrétiser, abstraire, virtualiser, représenter autrement ou même cesser de représenter

Karim Barkati, Francis Rousseaux, Alain Bonardi, Antoine Vincent

Gamelan Représentations et MIR

17:45:00 00:10:00 Exposé

17:55:00 00:35:00 Questions

57