gti745 – interfaces utilisateurs avancées

68
GTI745 – Interfaces utilisateurs avancées Les interfaces pour la musique Maxime Dumas – Hiver 2014

Upload: elan

Post on 24-Feb-2016

47 views

Category:

Documents


0 download

DESCRIPTION

GTI745 – Interfaces utilisateurs avancées. Les interfaces pour la musique. Maxime Dumas – Hiver 2014. Plan de cours. Mise en contexte – TP3 Principes fondamentaux Interfaces pour la musique Visualisations pour la musique. Survol du travail pratique 3. Trois choix de sujets - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: GTI745  – Interfaces utilisateurs avancées

GTI745 – Interfaces utilisateurs avancées

Les interfaces pour la musique

Maxime Dumas – Hiver 2014

Page 2: GTI745  – Interfaces utilisateurs avancées

Plan de cours

• Mise en contexte – TP3• Principes fondamentaux• Interfaces pour la musique• Visualisations pour la musique

Page 3: GTI745  – Interfaces utilisateurs avancées

Survol du travail pratique 3

• Trois choix de sujets– Visualiser les relations d’influence entre des

musiciens– Modifier un logiciel interactif permettant de jouer

de la musique– Créer une interface multitactile avec un ou

plusieurs instruments de musique

Page 4: GTI745  – Interfaces utilisateurs avancées

TP3 – Projet #1• Jeu de données à visualiser– 600 artistes– 193 « styles » ou « marchés »– 13 styles principaux ou genres– 3000 liens d’influence entre les artistes

• Application de départ à modifier ou votre propre application (sur approbation)

• Important: le jeu de données est confidentiel

Page 5: GTI745  – Interfaces utilisateurs avancées

TP3 – Projet #1

Simple Network Visualizer (application de départ)

Page 6: GTI745  – Interfaces utilisateurs avancées

Piano Roll

TempsNotes

Page 7: GTI745  – Interfaces utilisateurs avancées

TP3 – Projet #2

• Modifier ou créer un logiciel permettant d’écrire des notes de musique et de les jouer

• Application de départ: Simple Piano Roll• Vous pourriez développer un autre type

d’instrument qu’un piano (sur approbation)• Démo

Page 8: GTI745  – Interfaces utilisateurs avancées

TP3 – Projet #3

• Créer un logiciel multitactile permettant de jouer de la musique

• Tirer profit des capacités du multitactile• Peut être un piano, une percussion ou tout

autre instrument conventionnel ou non• Important: Communiquez avec le chargé de

laboratoire pour réserver des sessions au laboratoire avec les écrans multitactiles.

Page 9: GTI745  – Interfaces utilisateurs avancées

Exemples Hiver 2012

Vidéo: https://www.youtube.com/watch?v=6yH9ifBvK6o

Page 10: GTI745  – Interfaces utilisateurs avancées

Caractéristiques d’un son musical

• Hauteur (pitch): Lié à la fréquence de vibration• Intensité: Degré de force / niveau sonore• Durée (sustain): Période de temps durant lequel le

son est maintenu• Timbre: Caractéristiques sonores qui permettent

d’identifier un instrument

Page 11: GTI745  – Interfaces utilisateurs avancées

Les notes sur un piano

C D E F G A B

Do ou Ut

Ré Mi Fa Sol La Si

Source image: http://www.josef-k.net/mim/ThePianoKeyboard.gif

Page 12: GTI745  – Interfaces utilisateurs avancées

Les notes en fréquenceNote\octave 1 2 3 4 5 6 7 8

Do 32,70 65,41 130,81 261,63 523,25 1046,50 2093,00 4186,01

Do ou Ré♯ ♭ 34,65 69,30 138,59 277,18 554,37 1108,73 2217,46 4434,92

Ré 36,71 73,42 146,83 293,66 587,33 1174,66 2349,32 4698,64

Ré ou Mi♯ ♭ 38,89 77,78 155,56 311,13 622,25 1244,51 2489,02 4978,03

Mi 41,20 82,41 164,81 329,63 659,26 1318,51 2637,02 5274,04Fa 43,65 87,31 174,61 349,23 698,46 1396,91 2793,83 5587,65

Fa ou Sol♯ ♭ 46,25 92,50 185,00 369,99 739,99 1479,98 2959,96 5919,91

Sol 49,00 98,00 196,00 392,00 783,99 1567,98 3135,96 6271,93

Sol ou La♯ ♭ 51,91 103,83 207,65 415,30 830,61 1661,22 3322,44 6644,88

La 55,00 110,00 220,00 440,00 880,00 1760,00 3520,00 7040,00

La ou Si♯ ♭ 58,27 116,54 233,08 466,16 932,33 1864,66 3729,31 7458,62

Si 61,74 123,47 246,94 493,88 987,77 1975,53 3951,07 7902,13

Référence: Wikipédia et http://www.think-underground.com/post/2011/11/15/Notes,-fr%C3%A9quences%E2%80%A6-et-binaire

Page 13: GTI745  – Interfaces utilisateurs avancées

Les altérations

• Un octave = 12 demi-tons • 1 ton = Écart de 2 touches sur un piano• 1 demi-ton = Écart d’une touche sur un piano

Page 14: GTI745  – Interfaces utilisateurs avancées

• Les bémols (flat): ½ ton chromatique plus bas que la hauteur naturelle

• Les dièses (sharp): ½ ton chromatique plus haut que la hauteur naturelle

• Les bécarres (natural): annule une altération

Les altérations (suite)

Page 15: GTI745  – Interfaces utilisateurs avancées

Différence entre dièse et bémol

Source: http://commons.wikimedia.org/wiki/File:YB0212_Demi_ton_commas.pnghttp://fr.wikipedia.org/wiki/Comma_(musicologie)

Page 16: GTI745  – Interfaces utilisateurs avancées

Les composantes de la musique

• Le timbre: Caractéristiques sonores qui permettent d’identifier un instrument

• Le rythme: Détermine la durée des notes les unes par rapport aux autres

• La mélodie: Séquence de hauteurs des notes• L’harmonie: Utilisation délibérée de fréquences

simultanées pour produire des sons plus riches

Page 17: GTI745  – Interfaces utilisateurs avancées

Le rythme et la mesure• La durée des notes les unes par rapport aux autres• Déterminé par une horloge ou pulsation qui détermine des temps• Numérateur: Nombre de temps par mesure• Dénominateur: Durée de chaque temps par rapport à la ronde

– Ex: 4/4 -> 4 temps de 1/4 de ronde (un temps = une noire)– Ex: 6/8 -> 6 temps de 1/8 de ronde (un temps = une croche)

Page 18: GTI745  – Interfaces utilisateurs avancées

Le tempo• Vitesse des pulsations• 120 bpm = 120 battements par minute

Qualificatif TempoLargo 40-60 bpmLarghetto 60-66 bpmAdagio 66-76 bpmAndante 76-108 bpmModerato 108-120 bpmAllegro 120-168 bpmPresto 168-200 bpmPrestissimo 200-208 bpmA tempo tempo spécifié

Page 19: GTI745  – Interfaces utilisateurs avancées

Les figures de notes

8 4 2 1 ½ ¼ 1/8 1/16Nombre

de temps(à la noire)

Page 20: GTI745  – Interfaces utilisateurs avancées

Les gammes

• Gammes chromatiques:– Gammes contenant 12 degrés (notes différentes). La gamme

chromatique contient toutes les notes d’un octave sur un piano

• Gammes heptatoniques:– Gammes comprenant 7 degrés (ex: gamme majeure, seulement

les touches blanches du clavier)

• Gammes pentatoniques:– Gammes comprenant 5 degrés (ex: seulement les touches

noires du clavier)

Page 21: GTI745  – Interfaces utilisateurs avancées

Les gammes heptatoniques les plus connues

• Gamme majeure: T T D T T T D T = 1 ton D = ½ ton– Do majeur: do ré mi fa sol la si do– Mi majeur: mi fa# sol# la si do# ré# mi

• Gamme mineure: T D T T D T T– La mineur: la si do ré mi fa sol la

Page 22: GTI745  – Interfaces utilisateurs avancées

Tonalité• Gamme de sept notes, désignée par sa tonique et son mode• Représente la « couleur » de la gamme• Tonique: première note de la gamme

Page 23: GTI745  – Interfaces utilisateurs avancées

Les transpositions• Monter ou descendre toutes les notes d’un même

intervalle.• Permet de modifier la tonalité sans changer la

perception des mélodies• Plusieurs instruments sont transposés naturellement

Page 24: GTI745  – Interfaces utilisateurs avancées

Les intervallesContenance Désignation Classement

Aucun intervalle Unisson Consonnance parfaite

½ ton Seconde mineure Dissonance

1 ton Seconde majeure Dissonance

1 ½ tons Tierce mineure Consonnance imparfaite

2 tons Tierce majeure Consonnance imparfaite

2 ½ tons Quarte juste Consonnance mixte

3 tons ou Triton *Quarte augmentée ou quinte diminuée

Consonnance mixte

3 ½ tons Quinte juste Consonnance parfaite

4 tons Sixte mineure Consonnance imparfaite

4 ½ tons Sixte majeure Consonnance imparfaite

5 tons Septième mineure Dissonance

5 ½ tons Septième majeure Dissonance

6 tons Octave Consonnance parfaite

Référence: http://dictionnaire.metronimo.com/img/intervalle.jpg

Page 25: GTI745  – Interfaces utilisateurs avancées

Les accords• Accord majeur: Tonique + Tierce majeure + Quinte (Tonique

+ 4 demi-tons + 3 demi-tons)– C = do - mi – fa– C7 = do – mi – fa – sib (+ septième mineure)

• Accord mineur: Tonique + Tierce mineure + Quinte (Tonique + 3 demi-tons + 4 demi-tons)– Cm = do - mi bémol – fa

* Tonique : note dominante de la tonalité– Ex: pour la gamme de do, la tonique est do

Page 26: GTI745  – Interfaces utilisateurs avancées

Les accords sur un pianoAccord de do majeur:

Accord de do# majeur:

Page 27: GTI745  – Interfaces utilisateurs avancées

Les degrés• Désigne la place d’une note dans une échelle musicale

spécifique. Ex: en musique tonale (gamme heptatonique):– Le premier degré = Tonique (I)– Le second degré = Sus-tonique (II)– Le troisième degré = la médiane (III)– Le quatrième degré = la sous-dominante (IV)– Le cinquième degré = la dominante (V)– Le sixième degré = la sus-dominante (VI)– Le septième degré = la sensible (VII)– Le huitième degré = l'octave ou la tonique

Page 28: GTI745  – Interfaces utilisateurs avancées

Lier les concepts: les progressions• Un accord peut être construit à partir de n'importe quelle note

d'une gamme. Une gamme de sept notes permet sept accords de base, chaque degré de la gamme devenant la fondamentale de son propre accord.

• La progression est une séquence d’accords basés sur la gamme. Il est possible d’imaginer un nombre infini de progressions, mais certaines progressions caractéristiques sont souvent récurrentes.

• Ex:– I - IV - V - V : À la base de La Bamba de Ritchie Valens, Like A Rolling Stone de Bob Dylan, celle aussi

de Twist and Shout des Isley Brothers, et celle de Lucy in the Sky with Diamonds des Beatles, etc.– I - I - IV - V. - My Boy Lollipop de Millie Small, Heartbeat de Buddy Holly, le refrain de Get Off of My

Cloud des Rolling Stones, Diamonds on the Soles of Her Shoes de Paul Simon, Madame George de Van Morrison, etc.

– I – IV- V – IV: http://fr.wikipedia.org/wiki/Liste_de_chansons_construites_sur_la_progression_I-V-vi-IV

Référence: Music: In Theory and Practice et http://fr.wikipedia.org/wiki/Progression_d'accords

Exemple vidéo: http://www.youtube.com/watch?v=oOlDewpCfZQ

Page 29: GTI745  – Interfaces utilisateurs avancées

Le MIDI

• Musical Instrument Digital Interface• Protocole de communication et de

commande permettant à des instruments de musique électronique d’échanger de l’information

Références utiles:http://www.cs.cf.ac.uk/Dave/Multimedia/node158.htmlhttp://www.thewhippinpost.co.uk/midi/midi-messages.htmhttp://www.midi.org/techspecs/midimessages.php

Page 30: GTI745  – Interfaces utilisateurs avancées

Le protocole en résumé

• 16 canaux indépendants• Chaque canal contient 128 notes*• 7 types de message

*Peut être utiliser pour transférer des paramètres autres que des notes de musique

Page 31: GTI745  – Interfaces utilisateurs avancées

Messages MIDI

• Chaque message est composé de 24 bits• [1sssnnnn] [0xxxxxxx] [0xxxxxxx] statut donnée 1 donnée 2

– sss: type de message– nnnn: numéro de canal midi– xxxxxxx: valeur (entre 0 et 127)

Page 32: GTI745  – Interfaces utilisateurs avancées

Types de messagesMessage Data 1 Data 2

Note off Note number Velocity

Note on Note number Velocity

Polyphonic aftertouch Note number Pressure

Control change Controller number Data

Program change Program number -

Channel aftertouch Pressure -

Pitch wheel LSbyte MSbyte

Référence: http://www.nyu.edu/classes/bello/FMT_files/9_MIDI_code.pdf

Page 33: GTI745  – Interfaces utilisateurs avancées

Note on / off

Permet d’activer / désactiver une note• Donnée 1: Numéro de la note [0-127]• Donnée 2: Vélocité [0-127]

Page 34: GTI745  – Interfaces utilisateurs avancées

Schéma complet : http://fr.wikipedia.org/wiki/Musical_Instrument_Digital_Interface

Les notes en MIDI

Page 35: GTI745  – Interfaces utilisateurs avancées

Control Change (CC)

Permet de changer les paramètres d’un canal• Donnée 1: Numéro du paramètre • Donnée 2: Valeur du paramètre

Exemples de contrôleurs: volume, pan, pédales de contrôle, etc.

Page 36: GTI745  – Interfaces utilisateurs avancées

Program Change

Permet de changer le programme • Donnée 1: Numéro du programme [0-127]• Donnée 2: Vide

Habituellement, le programme est associé à un instrument ou un son sur le séquenceur

General MIDI définit une liste des programmes standards. Voir spécifications.

Page 37: GTI745  – Interfaces utilisateurs avancées

Le MIDI en Javaimport javax.sound.midi.*;

public class MidiSynthesizerSample { public static void main(String[] args) { try { Synthesizer synthesizer = MidiSystem.getSynthesizer(); synthesizer.open(); MidiChannel channel = synthesizer.getChannels()[0]; // Choisir le canal 1 channel.programChange(46); // Choisir un son de harpe (programme #47) channel.noteOn(48, 64); // Appuyer sur la note - Numéro de note C3, Vélocité 50% Thread.sleep(1000); // Tenir la note pour 1 seconde channel.noteOff(48); // Relâcher la note - Numéro de la note } catch (Exception e) { e.printStackTrace(); } }}

Autre exemple: voir SynthesizerTest.java

Page 38: GTI745  – Interfaces utilisateurs avancées

Les interfaces pour la musique

Page 39: GTI745  – Interfaces utilisateurs avancées

Les contrôleurs MIDI “conventionnels”

Page 40: GTI745  – Interfaces utilisateurs avancées

Tirer profit des tablettes

Page 41: GTI745  – Interfaces utilisateurs avancées

Kaossilator

Vidéo: http://www.youtube.com/watch?v=45d2Yomsct4

Page 42: GTI745  – Interfaces utilisateurs avancées

Ocarina2 (iPhone)

Vidéo: http://www.smule.com/ocarina/#prettyPhoto

Page 43: GTI745  – Interfaces utilisateurs avancées

Artiphon

Vidéo: https://www.youtube.com/watch?v=tqKj7GWhIOk

Page 45: GTI745  – Interfaces utilisateurs avancées

Claviers isomorphiques

Page 46: GTI745  – Interfaces utilisateurs avancées

Claviers isomorphiques

Application Musix pour iPad

Axis Keyboard

Page 48: GTI745  – Interfaces utilisateurs avancées

GenSession – François Cabrol

http://vimeo.com/68455966

Page 54: GTI745  – Interfaces utilisateurs avancées

Live coding

Vidéo: http://en.wikipedia.org/wiki/Live_coding

Page 55: GTI745  – Interfaces utilisateurs avancées

Wall Balls

Vidéo: http://www.youtube.com/watch?v=qQmSwuj7DZw

Page 56: GTI745  – Interfaces utilisateurs avancées

HighC - Draw your music

Démo: http://highc.org/samples/demo.html

Page 57: GTI745  – Interfaces utilisateurs avancées

Graphic Notation

Vidéo: http://www.youtube.com/watch?v=71hNl_skTZQ

Page 60: GTI745  – Interfaces utilisateurs avancées

Projets du groupe IDMIL – Université McGill

• Les Gestes http://vimeo.com/54022254#• T-Stick http://vimeo.com/47134373#• FM Gloves https://

www.youtube.com/watch?v=c9a33VViU2w• T-Box https://

www.youtube.com/watch?v=gnSgVQEYlss• The Rulers https://

www.youtube.com/watch?v=BtzEb6QiTXI

Vidéo: https://www.youtube.com/watch?v=-Dqvf1CXPWg

Page 61: GTI745  – Interfaces utilisateurs avancées

Réalité virtuelle / Jeux vidéos

Détails: http://hitmuri.net/index.php/Main/HomePage

Page 62: GTI745  – Interfaces utilisateurs avancées

Chroma

http://www.youtube.com/watch?v=d5YFrd5tr7o

Page 63: GTI745  – Interfaces utilisateurs avancées

Sound sculpture

Projet: http://www.coolhunting.com/culture/absolut-machine.phpVidéo: http://www.youtube.com/watch?v=5zbFVfEGwnw

Page 64: GTI745  – Interfaces utilisateurs avancées

The Shape of Song

Détails: http://www.turbulence.org/Works/song/

Page 65: GTI745  – Interfaces utilisateurs avancées

Music Animation Machine

Vidéo: http://www.youtube.com/watch?v=_PhathoNcXM

Page 66: GTI745  – Interfaces utilisateurs avancées

What different sorting algorithms sound like

Vidéo: http://www.youtube.com/watch?v=t8g-iYGHpEA

Page 67: GTI745  – Interfaces utilisateurs avancées

Celeste Motus

Vidéo: http://vimeo.com/7364665

Page 68: GTI745  – Interfaces utilisateurs avancées

Narratives 2.0

Détails: http://www.matthiasdittrich.com/projekte/narratives/visualisation/index.html