log745 – interfaces utilisateurs avancées les interfaces pour la musique maxime dumas – hiver...

LOG745 – Interfaces utilisateurs avancées

Les interfaces pour la musique

Maxime Dumas – Hiver 2013

Plan de cours

• Mise en contexte - TP4• Principes fondamentaux• Interfaces pour la musique• Visualisations pour la musique

Survol du travail pratique 4

• Trois choix de sujets– Visualiser les relations d’influence entre des

musiciens– Modifier un logiciel interactif permettant de jouer

de la musique– Créer une interface multitactile avec un ou

plusieurs instruments de musique

TP4 – Projet #1• Jeu de données à visualiser– 600 artistes– 193 « styles » ou « marchés »– 13 styles principaux ou genres– 3000 liens d’influence entre les artistes

• Application de départ à modifier ou votre propre application (sur approbation)

• Important: le jeu de données est confidentiel

TP4 – Projet #1

Simple Network Visualizer (application de départ)

TP4 – Projet #2

• Modifier ou créer un logiciel permettant d’écrire des notes de musique et de les jouer

• Application de départ: Simple Piano Roll• Vous pourriez développer un autre type

d’instrument qu’un piano (sur approbation)• Démo

TP4 – Projet #3

• Créer un logiciel multitactile permettant de jouer de la musique

• Tirer profit des capacités du multitactile• Peut être un piano, une percussion ou tout

autre instrument conventionnel ou non• Important: Communiquez avec le chargé de

laboratoire pour réserver des sessions au laboratoire avec les écrans multitactiles.

Exemples Hiver 2012

Vidéo: https://www.youtube.com/watch?v=6yH9ifBvK6o

Un peu de théorie musicale…

• Les principes fondamentaux– Les notes, les altérations, les intervalles, etc.

• Pour que ça « sonne bien »– Les gammes, les accords, les progressions

• La musique numérique – Le piano roll– Le MIDI

Les notes sur un piano

C D E F G A B

Do ou Ut

Ré Mi Fa Sol La Si

Source image: http://www.josef-k.net/mim/ThePianoKeyboard.gif

Les notes en fréquenceNote\octave 1 2 3 4 5 6 7 8

Do 32,70 65,41 130,81 261,63 523,25 1046,50 2093,00 4186,01

Do ou Ré♯ ♭ 34,65 69,30 138,59 277,18 554,37 1108,73 2217,46 4434,92

Ré 36,71 73,42 146,83 293,66 587,33 1174,66 2349,32 4698,64

Ré ou Mi♯ ♭ 38,89 77,78 155,56 311,13 622,25 1244,51 2489,02 4978,03

Mi 41,20 82,41 164,81 329,63 659,26 1318,51 2637,02 5274,04

Fa 43,65 87,31 174,61 349,23 698,46 1396,91 2793,83 5587,65

Fa ou Sol♯ ♭ 46,25 92,50 185,00 369,99 739,99 1479,98 2959,96 5919,91

Sol 49,00 98,00 196,00 392,00 783,99 1567,98 3135,96 6271,93

Sol ou La♯ ♭ 51,91 103,83 207,65 415,30 830,61 1661,22 3322,44 6644,88

La 55,00 110,00 220,00 440,00 880,00 1760,00 3520,00 7040,00

La ou Si♯ ♭ 58,27 116,54 233,08 466,16 932,33 1864,66 3729,31 7458,62

Si 61,74 123,47 246,94 493,88 987,77 1975,53 3951,07 7902,13

Référence: Wikipédia et http://www.think-underground.com/post/2011/11/15/Notes,-fr%C3%A9quences%E2%80%A6-et-binaire

La musique, c’est de la physique!

Référence: http://www.sengpielaudio.com/calculator-notenames.htm

Le rythme– Numérateur: Nombre de temps par mesure– Dénominateur: Durée de chaque temps par rapport à la ronde

• Ex: 4/4 -> 4 temps de 1/4 de ronde (un temps = une noire)• Ex: 6/8 -> 6 temps de 1/8 de ronde (un temps = une croche)

Les figures de notes

8 4 2 1 ½ ¼ 1/8 1/16Nombre

de temps(à la noire)

Le tempo

• 120 bpm = 120 battements par minute

Qualificatif Tempo

Largo 40-60 bpm

Larghetto 60-66 bpm

Adagio 66-76 bpm

Andante 76-108 bpm

Moderato 108-120 bpm

Allegro 120-168 bpm

Presto 168-200 bpm

Prestissimo 200-208 bpm

A tempo tempo spécifié

Les altérations

• Un octave = 12 demi-tons • 1 ton = Écart de 2 touches sur un piano• 1 demi-ton = Écart d’une touche sur un piano

• Les bémols (flat): ½ ton chromatique plus bas que la hauteur naturelle

• Les dièses (sharp): ½ ton chromatique plus haut que la hauteur naturelle

• Les bécarres (natural): annule une altération

Les altérations (suite)

Les transpositions• Monter ou descendre toutes les notes d’un même

intervalle.• Permet de modifier la tonalité sans changer la

perception des mélodies• Plusieurs instruments sont transposés naturellement

Les gammes

• Gammes chromatiques:– Gammes contenant 12 degrés (notes différentes). La

gamme chromatique contient toutes les notes d’un octave sur un piano

• Gammes heptatoniques:– Gammes comprenant 7 degrés (ex: gamme majeure)

• Gammes pentatoniques:– Gammes comprenant 5 degrés (ex: seulement les

touches noires du clavier)

Les gammes heptatoniques les plus connues

• Gamme majeure: T T D T T T D T = 1 ton D = ½ ton– Do majeur: do ré mi fa sol la si do– Mi majeur: mi fa# sol# la si do# ré# mi

• Gamme mineure: T D T T D T T– La mineur: la si do ré mi fa sol la

Les intervallesContenance Désignation Classement

Aucun intervalle Unisson Consonnance parfaite

½ ton Seconde mineure Dissonance

1 ton Seconde majeure Dissonance

1 ½ tons Tierce mineure Consonnance imparfaite

2 tons Tierce majeure Consonnance imparfaite

2 ½ tons Quarte juste Consonnance mixte

3 tons ou Triton *Quarte augmentée ou quinte diminuée

Consonnance mixte

3 ½ tons Quinte juste Consonnance parfaite

4 tons Sixte mineure Consonnance imparfaite

4 ½ tons Sixte majeure Consonnance imparfaite

5 tons Septième mineure Dissonance

5 ½ tons Septième majeure Dissonance

6 tons Octave Consonnance parfaite

Référence: http://dictionnaire.metronimo.com/img/intervalle.jpg

Les accords• Accord majeur: Tonique + Tierce majeure +

Quinte (Tonique + 4 demi-tons + 3 demi-tons)– C = do - mi – fa– C7 = do – mi – fa – sib (+ septième mineure)

• Accord mineur: Tonique + Tierce mineure + Quinte (Tonique + 3 demi-tons + 4 demi-tons)– Cm = do - mi bémol – fa

* Tonique : note dominante de la tonalité– Ex: pour la gamme de do, la tonique est do

Les accords sur un pianoAccord de do majeur:

Accord de do# majeur:

Les degrés• Désigne la place d’une note dans une échelle

musicale spécifique. Ex: en musique tonale (gamme heptatonique):– Le premier degré = Tonique (I)– Le second degré = Sus-tonique (II)– Le troisième degré = la médiane (III)– Le quatrième degré = la sous-dominante (IV)– Le cinquième degré = la dominante (V)– Le sixième degré = la sus-dominante (VI)– Le septième degré = la sensible (VII)– Le huitième degré = l'octave ou la tonique

Lier les concepts: les progressions• Un accord peut être construit à partir de n'importe quelle note

d'une gamme. Une gamme de sept notes permet sept accords de base, chaque degré de la gamme devenant la fondamentale de son propre accord.

• La progression est une séquence d’accords basés sur la gamme. Il est possible d’imaginer un nombre infini de progressions, mais certaines progressions caractéristiques sont souvent récurrentes.

• Ex:– I - IV - V - V : À la base de La Bamba de Ritchie Valens, Like A Rolling Stone de Bob Dylan,

celle aussi de Twist and Shout des Isley Brothers, et celle de Lucy in the Sky with Diamonds des Beatles, etc.

– I - I - IV - V. - My Boy Lollipop de Millie Small, Heartbeat de Buddy Holly, le refrain de Get Off of My Cloud des Rolling Stones, Diamonds on the Soles of Her Shoes de Paul Simon, Madame George de Van Morrison, etc.

Référence: Music: In Theory and Practice et http://fr.wikipedia.org/wiki/Progression_d'accords

Exemple vidéo: http://www.youtube.com/watch?v=DlUfbCuNzq8

Le piano roll

Le MIDI

• Musical Instrument Digital Interface• Protocole de communication et de

commande permettant à des instruments de musique électronique d’échanger de l’information

Références utiles:http://www.cs.cf.ac.uk/Dave/Multimedia/node158.htmlhttp://www.thewhippinpost.co.uk/midi/midi-messages.htmhttp://www.midi.org/techspecs/midimessages.php

Le protocole en résumé

• 16 canaux indépendants• Chaque canal contient 128 notes*• 7 types de message

*Peut être utiliser pour transférer des paramètres autres que des notes de musique

Messages MIDI

• Chaque message est composé de 24 bits• [1sssnnnn] [0xxxxxxx] [0xxxxxxx] statut donnée 1 donnée 2

– sss: type de message– nnnn: numéro de canal midi– xxxxxxx: valeur (entre 0 et 127)

Types de messages

• Note off• Note on• Polyphonic Key Pressure (aftertouch)• Control Change• Program Change• Channel Pressure• Pitch bend

Note on / off

Permet d’activer / désactiver une note•Donnée 1: Numéro de la note [0-127]•Donnée 2: Vélocité [0-127]

Schéma complet : http://fr.wikipedia.org/wiki/Musical_Instrument_Digital_Interface

Les notes en MIDI

Control Change (CC)

Permet de changer les paramètres d’un canal•Donnée 1: Numéro du paramètre •Donnée 2: Valeur du paramètre

Exemples de contrôleurs: volume, pan, pédales de contrôle, etc.

Program Change

Permet de changer le programme •Donnée 1: Numéro du programme [0-127]•Donnée 2: Vide

Habituellement, le programme est associé à un instrument ou un son sur le séquenceur

General MIDI définit une liste des programmes standards. Voir spécifications.

Le MIDI en Javaimport javax.sound.midi.*;

public class MidiSynthesizerSample { public static void main(String[] args) { try { Synthesizer synthesizer = MidiSystem.getSynthesizer(); synthesizer.open(); MidiChannel channel = synthesizer.getChannels()[0]; // Choisir le canal 1 channel.programChange(46); // Choisir un son de harpe (programme #47) channel.noteOn(48, 64); // Appuyer sur la note - Numéro de note C3, Vélocité 50% Thread.sleep(1000); // Tenir la note pour 1 seconde channel.noteOff(48); // Relâcher la note - Numéro de la note } catch (Exception e) { e.printStackTrace(); } }}

Autre exemple: voir SynthesizerTest.java

Les interfaces pour la musique

Les contrôleurs MIDI “conventionnels”

Tirer profit des tablettes

Kaossilator

Vidéo: http://www.youtube.com/watch?v=45d2Yomsct4

Ocarina2 (iPhone)

Vidéo: http://www.smule.com/ocarina/#prettyPhoto

Artiphon

Vidéo: https://www.youtube.com/watch?v=wMhQ57fXWPY - 1:30

Tenori-on

Vidéo: http://www.youtube.com/watch?v=_SGwDhKTrwU

Claviers isomorphiques

Claviers isomorphiques

Application Musix pour iPad

Axis Keyboard

Piano isomorphique!

Source: http://en.wikipedia.org/wiki/Janko_keyboardVidéo: https://www.youtube.com/watch?v=NqCsEcNeswk

Harpejji

Vidéo: http://www.youtube.com/watch?v=2CrjvsJAkBs

Beat blocks

Vidéo: http://www.youtube.com/watch?v=Jug3iYAuJes

Beat bearing

Vidéo: http://www.youtube.com/watch?v=wreP8FMupyM

Reactable

Vidéo: http://www.youtube.com/watch?v=MPG-LYoW27E

Live coding

Vidéo: http://en.wikipedia.org/wiki/Live_coding

Wall Balls

Vidéo: http://www.youtube.com/watch?v=qQmSwuj7DZw

HighC - Draw your music

Démo: http://highc.org/samples/demo.html

Graphic Notation

Vidéo: http://www.youtube.com/watch?v=71hNl_skTZQ

Drawdio

Vidéo: http://www.youtube.com/watch?v=PV_w38ldZaE

Projets du groupe IDMIL – Université McGill

• Les Gestes http://vimeo.com/54022254#• T-Stick http://vimeo.com/47134373#• FM Gloves https://

www.youtube.com/watch?v=c9a33VViU2w• T-Box https://

www.youtube.com/watch?v=gnSgVQEYlss• The Rulers https://

www.youtube.com/watch?v=BtzEb6QiTXI

Vidéo: https://www.youtube.com/watch?v=-Dqvf1CXPWg

Réalité virtuelle / Jeux vidéos

Détails: http://hitmuri.net/index.php/Main/HomePage

Sound sculpture

Projet: http://www.coolhunting.com/culture/absolut-machine.phpVidéo: http://www.youtube.com/watch?v=5zbFVfEGwnw

The Shape of Song

Détails: http://www.turbulence.org/Works/song/

Music Animation Machine

Vidéo: http://www.youtube.com/watch?v=_PhathoNcXM

What different sorting algorithms sound like

Vidéo: http://www.youtube.com/watch?v=t8g-iYGHpEA

Celeste Motus

Vidéo: http://vimeo.com/7364665

Narratives 2.0

Détails: http://www.matthiasdittrich.com/projekte/narratives/visualisation/index.html