gti745 – interfaces utilisateurs avancées

GTI745 – Interfaces utilisateurs avancées

Les interfaces pour la musique

Maxime Dumas – Hiver 2014

Plan de cours

• Mise en contexte – TP3• Principes fondamentaux• Interfaces pour la musique• Visualisations pour la musique

Survol du travail pratique 3

• Trois choix de sujets– Visualiser les relations d’influence entre des

musiciens– Modifier un logiciel interactif permettant de jouer

de la musique– Créer une interface multitactile avec un ou

plusieurs instruments de musique

TP3 – Projet #1• Jeu de données à visualiser– 600 artistes– 193 « styles » ou « marchés »– 13 styles principaux ou genres– 3000 liens d’influence entre les artistes

• Application de départ à modifier ou votre propre application (sur approbation)

• Important: le jeu de données est confidentiel

TP3 – Projet #1

Simple Network Visualizer (application de départ)

Piano Roll

TempsNotes

TP3 – Projet #2

• Modifier ou créer un logiciel permettant d’écrire des notes de musique et de les jouer

• Application de départ: Simple Piano Roll• Vous pourriez développer un autre type

d’instrument qu’un piano (sur approbation)• Démo

TP3 – Projet #3

• Créer un logiciel multitactile permettant de jouer de la musique

• Tirer profit des capacités du multitactile• Peut être un piano, une percussion ou tout

autre instrument conventionnel ou non• Important: Communiquez avec le chargé de

laboratoire pour réserver des sessions au laboratoire avec les écrans multitactiles.

Exemples Hiver 2012

Vidéo: https://www.youtube.com/watch?v=6yH9ifBvK6o

Caractéristiques d’un son musical

• Hauteur (pitch): Lié à la fréquence de vibration• Intensité: Degré de force / niveau sonore• Durée (sustain): Période de temps durant lequel le

son est maintenu• Timbre: Caractéristiques sonores qui permettent

d’identifier un instrument

Les notes sur un piano

C D E F G A B

Do ou Ut

Ré Mi Fa Sol La Si

Source image: http://www.josef-k.net/mim/ThePianoKeyboard.gif

Les notes en fréquenceNote\octave 1 2 3 4 5 6 7 8

Do 32,70 65,41 130,81 261,63 523,25 1046,50 2093,00 4186,01

Do ou Ré♯ ♭ 34,65 69,30 138,59 277,18 554,37 1108,73 2217,46 4434,92

Ré 36,71 73,42 146,83 293,66 587,33 1174,66 2349,32 4698,64

Ré ou Mi♯ ♭ 38,89 77,78 155,56 311,13 622,25 1244,51 2489,02 4978,03

Mi 41,20 82,41 164,81 329,63 659,26 1318,51 2637,02 5274,04Fa 43,65 87,31 174,61 349,23 698,46 1396,91 2793,83 5587,65

Fa ou Sol♯ ♭ 46,25 92,50 185,00 369,99 739,99 1479,98 2959,96 5919,91

Sol 49,00 98,00 196,00 392,00 783,99 1567,98 3135,96 6271,93

Sol ou La♯ ♭ 51,91 103,83 207,65 415,30 830,61 1661,22 3322,44 6644,88

La 55,00 110,00 220,00 440,00 880,00 1760,00 3520,00 7040,00

La ou Si♯ ♭ 58,27 116,54 233,08 466,16 932,33 1864,66 3729,31 7458,62

Si 61,74 123,47 246,94 493,88 987,77 1975,53 3951,07 7902,13

Référence: Wikipédia et http://www.think-underground.com/post/2011/11/15/Notes,-fr%C3%A9quences%E2%80%A6-et-binaire

Les altérations

• Un octave = 12 demi-tons • 1 ton = Écart de 2 touches sur un piano• 1 demi-ton = Écart d’une touche sur un piano

• Les bémols (flat): ½ ton chromatique plus bas que la hauteur naturelle

• Les dièses (sharp): ½ ton chromatique plus haut que la hauteur naturelle

• Les bécarres (natural): annule une altération

Les altérations (suite)

Différence entre dièse et bémol

Source: http://commons.wikimedia.org/wiki/File:YB0212_Demi_ton_commas.pnghttp://fr.wikipedia.org/wiki/Comma_(musicologie)

Les composantes de la musique

• Le timbre: Caractéristiques sonores qui permettent d’identifier un instrument

• Le rythme: Détermine la durée des notes les unes par rapport aux autres

• La mélodie: Séquence de hauteurs des notes• L’harmonie: Utilisation délibérée de fréquences

simultanées pour produire des sons plus riches

Le rythme et la mesure• La durée des notes les unes par rapport aux autres• Déterminé par une horloge ou pulsation qui détermine des temps• Numérateur: Nombre de temps par mesure• Dénominateur: Durée de chaque temps par rapport à la ronde

– Ex: 4/4 -> 4 temps de 1/4 de ronde (un temps = une noire)– Ex: 6/8 -> 6 temps de 1/8 de ronde (un temps = une croche)

Le tempo• Vitesse des pulsations• 120 bpm = 120 battements par minute

Qualificatif TempoLargo 40-60 bpmLarghetto 60-66 bpmAdagio 66-76 bpmAndante 76-108 bpmModerato 108-120 bpmAllegro 120-168 bpmPresto 168-200 bpmPrestissimo 200-208 bpmA tempo tempo spécifié

Les figures de notes

8 4 2 1 ½ ¼ 1/8 1/16Nombre

de temps(à la noire)

Les gammes

• Gammes chromatiques:– Gammes contenant 12 degrés (notes différentes). La gamme

chromatique contient toutes les notes d’un octave sur un piano

• Gammes heptatoniques:– Gammes comprenant 7 degrés (ex: gamme majeure, seulement

les touches blanches du clavier)

• Gammes pentatoniques:– Gammes comprenant 5 degrés (ex: seulement les touches

noires du clavier)

Les gammes heptatoniques les plus connues

• Gamme majeure: T T D T T T D T = 1 ton D = ½ ton– Do majeur: do ré mi fa sol la si do– Mi majeur: mi fa# sol# la si do# ré# mi

• Gamme mineure: T D T T D T T– La mineur: la si do ré mi fa sol la

Tonalité• Gamme de sept notes, désignée par sa tonique et son mode• Représente la « couleur » de la gamme• Tonique: première note de la gamme

Les transpositions• Monter ou descendre toutes les notes d’un même

intervalle.• Permet de modifier la tonalité sans changer la

perception des mélodies• Plusieurs instruments sont transposés naturellement

Les intervallesContenance Désignation Classement

Aucun intervalle Unisson Consonnance parfaite

½ ton Seconde mineure Dissonance

1 ton Seconde majeure Dissonance

1 ½ tons Tierce mineure Consonnance imparfaite

2 tons Tierce majeure Consonnance imparfaite

2 ½ tons Quarte juste Consonnance mixte

3 tons ou Triton *Quarte augmentée ou quinte diminuée

Consonnance mixte

3 ½ tons Quinte juste Consonnance parfaite

4 tons Sixte mineure Consonnance imparfaite

4 ½ tons Sixte majeure Consonnance imparfaite

5 tons Septième mineure Dissonance

5 ½ tons Septième majeure Dissonance

6 tons Octave Consonnance parfaite

Référence: http://dictionnaire.metronimo.com/img/intervalle.jpg

Les accords• Accord majeur: Tonique + Tierce majeure + Quinte (Tonique

+ 4 demi-tons + 3 demi-tons)– C = do - mi – fa– C7 = do – mi – fa – sib (+ septième mineure)

• Accord mineur: Tonique + Tierce mineure + Quinte (Tonique + 3 demi-tons + 4 demi-tons)– Cm = do - mi bémol – fa

* Tonique : note dominante de la tonalité– Ex: pour la gamme de do, la tonique est do

Les accords sur un pianoAccord de do majeur:

Accord de do# majeur:

Les degrés• Désigne la place d’une note dans une échelle musicale

spécifique. Ex: en musique tonale (gamme heptatonique):– Le premier degré = Tonique (I)– Le second degré = Sus-tonique (II)– Le troisième degré = la médiane (III)– Le quatrième degré = la sous-dominante (IV)– Le cinquième degré = la dominante (V)– Le sixième degré = la sus-dominante (VI)– Le septième degré = la sensible (VII)– Le huitième degré = l'octave ou la tonique

Lier les concepts: les progressions• Un accord peut être construit à partir de n'importe quelle note

d'une gamme. Une gamme de sept notes permet sept accords de base, chaque degré de la gamme devenant la fondamentale de son propre accord.

• La progression est une séquence d’accords basés sur la gamme. Il est possible d’imaginer un nombre infini de progressions, mais certaines progressions caractéristiques sont souvent récurrentes.

• Ex:– I - IV - V - V : À la base de La Bamba de Ritchie Valens, Like A Rolling Stone de Bob Dylan, celle aussi

de Twist and Shout des Isley Brothers, et celle de Lucy in the Sky with Diamonds des Beatles, etc.– I - I - IV - V. - My Boy Lollipop de Millie Small, Heartbeat de Buddy Holly, le refrain de Get Off of My

Cloud des Rolling Stones, Diamonds on the Soles of Her Shoes de Paul Simon, Madame George de Van Morrison, etc.

– I – IV- V – IV: http://fr.wikipedia.org/wiki/Liste_de_chansons_construites_sur_la_progression_I-V-vi-IV

Référence: Music: In Theory and Practice et http://fr.wikipedia.org/wiki/Progression_d'accords

Exemple vidéo: http://www.youtube.com/watch?v=oOlDewpCfZQ

Le MIDI

• Musical Instrument Digital Interface• Protocole de communication et de

commande permettant à des instruments de musique électronique d’échanger de l’information

Références utiles:http://www.cs.cf.ac.uk/Dave/Multimedia/node158.htmlhttp://www.thewhippinpost.co.uk/midi/midi-messages.htmhttp://www.midi.org/techspecs/midimessages.php

Le protocole en résumé

• 16 canaux indépendants• Chaque canal contient 128 notes*• 7 types de message

*Peut être utiliser pour transférer des paramètres autres que des notes de musique

Messages MIDI

• Chaque message est composé de 24 bits• [1sssnnnn] [0xxxxxxx] [0xxxxxxx] statut donnée 1 donnée 2

– sss: type de message– nnnn: numéro de canal midi– xxxxxxx: valeur (entre 0 et 127)

Types de messagesMessage Data 1 Data 2

Note off Note number Velocity

Note on Note number Velocity

Polyphonic aftertouch Note number Pressure

Control change Controller number Data

Program change Program number -

Channel aftertouch Pressure -

Pitch wheel LSbyte MSbyte

Référence: http://www.nyu.edu/classes/bello/FMT_files/9_MIDI_code.pdf

Note on / off

Permet d’activer / désactiver une note• Donnée 1: Numéro de la note [0-127]• Donnée 2: Vélocité [0-127]

Schéma complet : http://fr.wikipedia.org/wiki/Musical_Instrument_Digital_Interface

Les notes en MIDI

Control Change (CC)

Permet de changer les paramètres d’un canal• Donnée 1: Numéro du paramètre • Donnée 2: Valeur du paramètre

Exemples de contrôleurs: volume, pan, pédales de contrôle, etc.

Program Change

Permet de changer le programme • Donnée 1: Numéro du programme [0-127]• Donnée 2: Vide

Habituellement, le programme est associé à un instrument ou un son sur le séquenceur

General MIDI définit une liste des programmes standards. Voir spécifications.

Le MIDI en Javaimport javax.sound.midi.*;

public class MidiSynthesizerSample { public static void main(String[] args) { try { Synthesizer synthesizer = MidiSystem.getSynthesizer(); synthesizer.open(); MidiChannel channel = synthesizer.getChannels()[0]; // Choisir le canal 1 channel.programChange(46); // Choisir un son de harpe (programme #47) channel.noteOn(48, 64); // Appuyer sur la note - Numéro de note C3, Vélocité 50% Thread.sleep(1000); // Tenir la note pour 1 seconde channel.noteOff(48); // Relâcher la note - Numéro de la note } catch (Exception e) { e.printStackTrace(); } }}

Autre exemple: voir SynthesizerTest.java

Les interfaces pour la musique

Les contrôleurs MIDI “conventionnels”

Tirer profit des tablettes

Kaossilator

Vidéo: http://www.youtube.com/watch?v=45d2Yomsct4

Ocarina2 (iPhone)

Vidéo: http://www.smule.com/ocarina/#prettyPhoto

Artiphon

Vidéo: https://www.youtube.com/watch?v=tqKj7GWhIOk

Tenori-on

Vidéo: http://www.youtube.com/watch?v=_SGwDhKTrwU

Claviers isomorphiques

Claviers isomorphiques

Application Musix pour iPad

Axis Keyboard

Piano isomorphique!

Source: http://en.wikipedia.org/wiki/Janko_keyboardVidéo: https://www.youtube.com/watch?v=NqCsEcNeswk

GenSession – François Cabrol

http://vimeo.com/68455966

Harpejji

Vidéo: http://www.youtube.com/watch?v=2CrjvsJAkBs

Beat blocks

Vidéo: http://www.youtube.com/watch?v=Jug3iYAuJes

Beat bearing

Vidéo: http://www.youtube.com/watch?v=wreP8FMupyM

Reactable

Vidéo: http://www.youtube.com/watch?v=MPG-LYoW27E

Leap Motion

Exemple 1: https://www.youtube.com/watch?v=3yfDFzgy2FYExemple 2: https://www.youtube.com/watch?v=TjF8JN5aVfc

Live coding

Vidéo: http://en.wikipedia.org/wiki/Live_coding

Wall Balls

Vidéo: http://www.youtube.com/watch?v=qQmSwuj7DZw

HighC - Draw your music

Démo: http://highc.org/samples/demo.html

Graphic Notation

Vidéo: http://www.youtube.com/watch?v=71hNl_skTZQ

Drawdio

Vidéo: http://www.youtube.com/watch?v=PV_w38ldZaE

MaKey MaKey

http://www.youtube.com/watch?v=rfQqh7iCcOUhttp://www.youtube.com/watch?v=wkPt9MYqDW0

Projets du groupe IDMIL – Université McGill

• Les Gestes http://vimeo.com/54022254#• T-Stick http://vimeo.com/47134373#• FM Gloves https://

www.youtube.com/watch?v=c9a33VViU2w• T-Box https://

www.youtube.com/watch?v=gnSgVQEYlss• The Rulers https://

www.youtube.com/watch?v=BtzEb6QiTXI

Vidéo: https://www.youtube.com/watch?v=-Dqvf1CXPWg

Réalité virtuelle / Jeux vidéos

Détails: http://hitmuri.net/index.php/Main/HomePage

Chroma

http://www.youtube.com/watch?v=d5YFrd5tr7o

Sound sculpture

Projet: http://www.coolhunting.com/culture/absolut-machine.phpVidéo: http://www.youtube.com/watch?v=5zbFVfEGwnw

The Shape of Song

Détails: http://www.turbulence.org/Works/song/

Music Animation Machine

Vidéo: http://www.youtube.com/watch?v=_PhathoNcXM

What different sorting algorithms sound like

Vidéo: http://www.youtube.com/watch?v=t8g-iYGHpEA

Celeste Motus

Vidéo: http://vimeo.com/7364665

Narratives 2.0

Détails: http://www.matthiasdittrich.com/projekte/narratives/visualisation/index.html