Logo du site de la Revue Informatique et musique - RFIM - MSH Paris Nord

Espace sensible : une proposition d’expérience somatique à partir de la musique interactive

Yi-Chun KO
décembre 2013

Résumés   

Résumé

Cette étude est consacrée à l’élaboration d’approches expérimentales mettant en place des expériences musicales interactives en relation avec une approche somatique. Nous présenterons les démarches suivantes : 1) Le développement des méthodes de mesure et de visualisation de données numériques afin de favoriser le contrôle du mouvement en proposant les outils logiciels (MaxMSP) ; 2) La réalisation de plusieurs prototypes d’expérimentation à l’aide de l’interface wii balance board et l’analyse des résultats ; 3) La conceptualisation et la mise en œuvre de la musicalisation du mouvement corporel. En présentant les fruits de cette recherche, nous souhaitons ouvrir de nouvelles perspectives pour la création en musique interactive.

Index   

Index de mots-clés : expérience somatique, expérience kinesthésique, wii balance board, musicalisation.

Texte intégral   

Introduction

1Le « soma » est le corps vivant, le corps au « je », le corps vécu de l’intérieur, selon le philosopheaméricain Thomas Hanna. Dans les années 1980, cet auteur propose une redéfinition1 de ce terme : « la somatique, c’est l’art et la science des processus d’interaction synergétique entre la conscience, le fonctionnement biologique et l’environnement » (Hanna, 1989, p. 1). Il a présenté systématiquement plusieurs approches somatiques pour synthétiser en quoi consiste une expérience somatique. La somatique2 (somatics) est désormais reconnue et identifiée comme un champ interdisciplinaire émergent. Aujourd’hui, la question de la conscience du corps devient encore plus complexe, car on vit non seulement avec un corps physiologique mais aussi un « corps virtuel » (au sens d’Alain Berhoz3 ) augmenté par les nouvelles technologies. En 2007, l’équipe de recherche technologique japonaise Nintendo4 publie la console wii balance board pour mettre en évidence le concept innovant de forme ludique multimédia dit « jeu somatique »5 (somatic game ou somatosensory game). En effet, par rapport aux jeux vidéo traditionnels, la wii permet au grand public de faire une expérience corporelle différente. Elle pourrait aussi être une interface intéressante permettant de provoquer une nouvelle expérience musicale. Nous avons été témoins de plusieurs démonstrations réussies. Toutes ces expériences nous conduisent à élaborer des approches expérimentales afin d’établir un paradigme d’interaction pour la création musicale.Cet article présente des outils logiciels pour le traitement des données entre divers espaces de représentation (l’infographie statistique, la trajectographie, la géométrie dynamique…). Nous proposons également les prototypes expérimentaux de la synthèse sonore interactive.

1. En quoi consiste une expérience somatique liée à la musique interactive ?

2Faire l’expérience somatique a pour but d’élargir la conscience du corps vivant (soma) en mouvement dans l’environnement, de soulager une tension excessive dont nous n’avons pas toujours conscience, et d’expérimenter la réappropriation de soi. L’expérience somatique pourrait être un exercice simple : ralentir le mouvement du corps pour se concentrer sur la sensation de poids et la sensation de l’axe vertical du corps donné par la force de gravitation terrestre ; ou bien faire une expérience de l’interaction entre les trans-modalités motrice-sensorielles pour accéder au sens corporel global. Alors posons-nous la question suivante : en quoi consiste une expérience somatique liée à la musique ? Il n’est pas difficile à imaginer qu’un exercice de la voix peut soulager le stress négatif ; ou bien qu’une pratique d’instruments de musique peut développer l’intelligence sensori-motrice et émotionnelle. Pour notre recherche, il faudrait ainsi poser la question de façon plus précise : en quoi consisterait l’expérience somatique dans l’environnement musical numérique ? Quels sont les apports spécifiques de cette nouvelle approche ?

3Lors du projet « espaces sensibles » (2003-2005) avec la chorégraphe Laurence Marthouret, Anne Sèdes avait déjà testé le potentiel des capteurs de pression au sol (FSR), permettant une connexion sensorielle directe avec les sensations de variations de poids du corps du danseur en mouvement et un environnement musical interactif. Pour son installation sonore interactive Binauralités 2 (2011)6, Anne Sèdes utilise la wii balance pour connecter les variations de poids du corps en mouvement avec des variations de vitesse de pulsations sonores spatialisées et de fines variations de hauteurs. Il s’agit de créer une boucle action-perception entre les sensations corporelles et l’écoute. Ce dispositif est aujourd’hui réutilisé dans le cadre d’un projet s’appuyant sur les travaux de Jacqueline Nadel sur l’imitation comme moyen d’apprentissage, de développement personnel et de communication pour les enfants autistes (Nadel, 2011). Deux enfants l’un face à l’autre, chacun sur une wii balance, et munis d’un casque sans fil, jouent et s’imitent l’un l’autre en interagissant avec un environnement sonore interactif basé sur des variations de vitesse de pulsation, de spatialités et de variations de hauteurs et d’articulations fines. Le projet est en cours de développement dans le cadre du programme « cité re-céative », soutenu par la MSH Paris Nord et la fondation Campus Condorcet.

4En effet, la wii balance board7 peut être une interface intéressante pour explorer l’expérience somatique et composer la musique interactive. En tant que balance, ce dispositif électronique mesure le poids du corps humain. Grâce à la mesure des valeurs de déplacement du centre de gravité du corps, l’expérience permet au sujet de mieux se connaître et d’explorer les différents types de locomotion (l’inclinaison, l’accroupissement, la station debout et la marche, les variations de poids au niveau du bassin…) suivant un rapport à la verticale donné par la force gravitationnelle. Pour avoir une idée de l’efficacité de l’appareil, il suffit d’observer les applications de jeux sportifs de la série wii fit : yoga, gym, jeux d’équilibre (ski, snowboard), aérobic (hula hoop ; exercice de step) développées par l’équipe Nintendo et sorties sur wii en 2007 au Japon8. Grâce à ses quatre capteurs de pression, la wii balance répartit le poids et détecte assez précisément des déplacements du corps (60 mesures par seconde environ). En outre, la précision de ces mesures permet de révéler des déviations posturales ou des micromouvements peu perçus par le sujet. À la différence d’autres consoles ludiques, la manipulation de la wii balance board est relativement simple : boutons et joysticks ont été supprimés, et la surface de la console est un peu étroite. Pourtant, ces contraintes aident le sujet à faire des « micromouvements » tels qu’un déplacement très lent, et à percevoir des toutes petites secousses lorsqu’on maintient une posture spécifique. Cet espace étroit pourrait également inviter le joueur à faire un mouvement dans le sens vertical (ex : la marche, la flexion sur jambe, le maintien de la station debout sur un seul pied) afin de pouvoir expérimenter différents états d’équilibre.

5La compréhension initiale de ce dispositif électronique m’a permis de me poser de multiples questions concernant l’expérience somatique musicale : Comment peut-on expérimenter les micromouvements du corps en écoutant la musique interactive provenant du déplacement peu-perceptible de poids ? À quoi ressemble la mise en correspondance entre les mouvements locomoteurs façonnés par la force gravitationnelle et l’effet sonore/musical ? Quels sont les moyens musicaux numériques pour la mise en mouvement de la conscience attentive ? C’est-à-dire que l’attention ne se limite pas au corps en soi, mais aussi à l’environnement autour de lui, y compris l’environnement physique, et l’environnement virtuel. Pour concevoir un environnement numérique musical, il est important de trouver les bons moyens de transmission et de traitement de données. Ceux-ci seront présentés dans la partie suivante.

2. Une démarche préalable pour faire l’expérience somatique musicale :les moyens de transmission

6En fonction des réseaux UDP/TCP,le protocole OSC (Open Sound Control)9 permet de transmettre, en temps réel, de multiples flux de données parmi les dispositifs électroniques et logiciels compatibles. Notre démarche de transmission est fondée sur l’utilisation de l’OSCulator10, ainsi que la bibliothèque du CNMAT (Center for New Music Audio Technologies) « OSC-route »11 et la bibliothèque de OpenObject12, connectés selon le diagramme ci-dessous :

Figure 1. Le processus de la transmission : Wii balance board -->OSCulator --> Max 6 (par OSC-route) --> SuperCollider (par OpenObject)

7

Figure 2. L’Osculator est une interface pour la détection et la transposition de flux de données numériques

8L’Osculator est pratique pour transporter des flux de données numériques. Cependant, il ne peut pas calibrer les réglages de la wii balance board d’après le poids de l’utilisateur. Pour résoudre ce problème, j’ai réalisé un patch de MaxMSP, « Wii Board Calibration Tool », permettant la normalisation de l’amplitude des données du poids et la simulation d’une variable z résultant du changement du poids lorsqu’on descend/monte ou s’accroupit brutalementsur la wii balance. Voici le patch :

Figure 3. L’outil « Wii Board Calibration Tool »

9

3. La réalisation de trois outils logicielspour analyser le mouvement du corps et pour favoriser la composition de la musique interactive

10Comment la pratique d’un exercice somatique peut-elle se mettre en place dans le monde numérique musical afin de favoriser la prise de conscience du corps ? Pour répondre à cette question, j’ai réalisé les trois outils qui fonctionnent dans l’environnement MaxMSP :

3. 1. (Inner)Motion

11Le développement des technologies de captation du mouvement peut donner des expériences kinesthésiques intenses, selon l’artiste Ruth Gibson. Son projet « Capturing Stillness » (Gibson, 2011) (Capturer l’immobilité) est un exemple pour montrer un avantage du rapprochement de la technologie de la captation du mouvement et de l’approche somatique (En particulier, l’approche SRT – Skinner Releasing Technique). Quant à moi, j’ai réalisé l’(Inner)Motion pour composer la musique interactive en analysant le mouvement du corps.

Figure 4.

12

L’(inner)Motion est un outil permettant l’observation et l’analyse du mouvement corporel. Il présente deux modes de fonctionnement : soit en temps direct : les flux de données numériques sont transformés immédiatement en forme graphique (la taille du point de mesure varie selon la quantité du mouvement ; le changement de couleur correspond à la vélocité du mouvement corporel) ; soit en temps différé, c’est-à-dire que l’utilisateur peut indexer les listes numériques pour voir les séries chronologiques de données statistiques de chaque paramètre du mouvement corporel : les positionnements, les vélocités, les variations des poids. Un séquenceur est implémenté pour mémoriser et rejouer13 les instructions produisant les mouvements du corps vivant. L’utilisateur peut manipuler la timeline pour étudier un mouvement donné, de vitesse variée. Voir la vidéo I, une démonstration de la prise en main de l’outil: https://vimeo.com/71360123 (code d’accès : paris8)

13À l’aide de l’osculator, on peut déjà recevoir trois paramètres du mouvement sur la wii balance : le poids, les positionnements et les variations de centre de gravité du corps par rapport à la wii balance. Pour une analyse du mouvement plus précise, j’ai choisi une série de description du mouvement du corps en proposant trois échelles de la perception kinesthésique : le changement de l’état global du mouvement (l’échelle macroscopique), le mouvement d’échelle mésoscopique et le micromouvement (l’échelle microscopique).

14- l’état global du mouvement : il s’agit d’une distinction entre le corps mobile (en déplacement) et le corps immobile (en repos). Dans la conception de composition musicale, le changement de l’état peut être utile pour alterner deux moteurs du son. Vu que le changement de l’état du mouvement corporel ne se produit que de façon continue (le passage du repos à l’agitation, et vice versa), il est préférable d’échanger les deux systèmes sonores de façon linéaire (cross-fade) pour mettre en correspondance l’idée du passage/transition de deux états du mouvement.

15- l’analyse méso-échelle dumouvement est construite pour mettre en relief les sensations moins habituelles (ex : le changement de l’accélération, les effets de la pesanteur). Tout ceci pourrait devenir des paramètres sonores : imaginons que la variation de vélocité du déplacement corporel peut modifier la densité ou la spatialisation du son granulaire. Grâce à l’expérience kinesthésique qui associe intimement à l’écoute de musique, on peut retrouver les éléments cinématiques réelles (ex : l’orientation, la variation de vitesse) et imaginaires (ex : l’impression de flot, celle de la chute) du mouvement humain.

16- l’analyse du micromouvement (micro-échelle de la perception) est destinée à mettre en évidence les éléments peu perceptibles. Dans l’état « immobile », on peut observer la stabilité du corps en fonction de l’(inner)Motion : dans notre exercice sur la wii balance, si la valeur de la vélocité (x+y) est moins de 0.5, je la définis comme l’état stable. L’examen du micromouvement n’a pas pour but d’inhiber de petites secousses du corps. Tout au contraire, on peut observer et ressentir ces agitations fines et vivantes. Il est souhaitable d’envoyer ces énergies subtiles aux divers espaces paramétriques possibles, par des moyens de filtrage, afin de créer des rendus sonores plus dynamiques et riches.

Figure 5.

17

Grâce à des méthodes de filtrage, on peut obtenir les piques de l’énergie de mouvement corporel. Voir la vidéo II, split analyse : https://vimeo.com/71022024(code d’accès : paris8)

18En ce qui concerne le micromouvement dans l’état mobile, surtout dans le mouvement lent, on peut d’avantage observer ses qualités telle que la fluidité ou la rythmicité au profit de la détection de la variation de l’accélération instantanée et le rayon de courbure d’une trajectoire pour obtenir les variables du mouvement subtil. J’ai utilisé ces variables pour contrôler un moteur de son granulaire : plus la variation de la vélocité du mouvement est grande, plus les grains sonores sont aiguës. En outre, le mouvement vertical (ex : la rapidité de l’accroupissement du corps) est également prise en compte pour déclencher les sons impulsifs à très basse fréquence.

Figure 6.

Notre outil permet d’enregistrer et de relire un parcours de micromouvements : une station debout considérée comme « immobile » et en position verticale, mais révèle toujours des petites variations du centre de gravité corporelle avant-arrière qui ne sont pas forcements apparentes. Pour évaluer l’efficacité et l’expressivité de cet outil, un prototype de l’expérience a été réalisé : Il s’agit d’un test sur la stabilité de la station debout. La condition prédéfinie est de se tenir debout pendant trois minutes sans regarder l’écran qui représente les trajectoires de déplacement du centre de gravité corporelle. Plusieurs individus ont été invités à participer. Comparons deux des résultats : le centre de gravité de la première personne (l’image à gauche) est orienté un peu vers l’avant, l’amplitude de l’oscillation du corps avant et arrière se voit clairement. Quant au deuxième expérimentateur (l’image à droite), le centre de gravité de son corps est plus central et l’amplitude de son balancement est moins visible.

3. 2. KinesisEmpathy

19Selon Deidre Sklar (ethnologue de la danse), l’empathie kinesthésique désigne « la capacité à participer avec un mouvement d’autrui, ou une expérience sensori-motrice d’autrui. […] »14 Notre interfaceest conçue pour visualiser la relation entre le mouvement corporel de deux sujets : deux objets géométriques (un cercle et un rectangle) représentent les positionnements du centre de gravité du corps de deux joueurs – chacun sur sa wii balance board. La taille du cercle et du rectangle est modifiée selon la variation de la distance (le rapprochement ou l’éloignement) entre deux sujets (figure 7a). Il est possible de faire superposer deux objets lorsque deux individus se situent dans la même position de la wii balance.

20L’élaboration de cette visualisation m’a donné l’idée de construire un prototype d’un jeu somatique sous forme de musique interactive : chaque joueur peut contrôler la moitié des paramètres sonores par ses mouvements (figure 7b). Par exemple : le positionnement correspond à la spatialisation sonore ; la vitesse de déplacement fait varier le rythme d’une séquence percussive. La distance de rapprochement est aussi un paramètre utile : lorsque les deux objets se croisent, il y aura émission de nouveaux évènements sonores. Cette mise en superposition de deux objets peut aussi faire varier les paramètres du moteur sonore originel, en fonction des interpolations entre des valeurs des moteurs du son. Ce jeu interactif donne une nouvelle possibilité de manipuler la synthèse sonore en direct.

Figure 7a.

21

KinesisEmpathy est l’outil fait dans l’environnement MaxMSP pour élaborer un jeu interactif : l’effet audio est mis en interaction avec le mouvement corporel de deux joueurs.

Figure 7b.

Le prototype d’un jeu somatique, sous forme de musique interactive : chaque joueur peut contrôler la moitié des paramètres sonores par ses mouvements.

22Pour valider la pertinence de l’idée, j’ai invité des étudiants de Paris 8 à manipuler cette maquette. Deux joueurs se tiennent debout face à face et apprennent les règles du jeu : c’est-à-dire de comprendre le mapping entre leurs mouvements et les variations sonores, par l’expérience corporelle et inter-sensorielle. Quelques minutes après, on propose une autre façon de jouer : supposons que ces deux joueurs aient à peu près saisi le principe du jeu, l’idée est alors de savoir si ces deux joueurs peuvent trouver les positionnements d’autrui, sachant qu’ils sont alors dos à dos. Le premier exercice a mis en place dans l’esprit de chaque joueur un système de localisation. L’expérimentateur peut savoir où son partenaire se situe et décider de le suivre en synchronisation ou non avec son mouvement, tout en écoutant la variation sonore. Le résultat montre que l’on peut saisir les activités de son partenaire sans avoir besoin de le regarder. Le sens de l’écoute devient très riche : on écoute au lieu de fixer le regard sur son partenaire ou sur l’écran graphique. Par cette expérience, les deux sujets ont appris à repérer la relation entre soi et son partenaire en manipulant son avatar avec le son. Ensemble ils construisent un espace partageable sans perdre leur identité propre parce qu’ils sentent bien chacun leur propre poids.

23

Voici une courte démonstration, vidéo III : https://vimeo.com/71013083 (code d’accès : paris8)

3. 3. Data Stream Control

24Data Stream Control (en cours de développement) est une combinaison et un prolongement de deux outils qu’on vient de présenter : l’KinesisEmpathy et l’(Inner)Motion. Pour caractériser les trajectoires du mouvement, j’ai réalisé un graphique sous forme de géométrie dynamique (géométrie interactive). Les paramètres demesure du mouvement sont multiples :

  1. le flux de données numériques primitives : les positionnements dans le système polaire, la variation du poids (lors du saut, ou de la marche) ;

  2. le calcul des paramètres fondamentaux du mouvement : la vitesse, l’accélération, l’orientation dans le système polaire, les fréquences d’oscillation moyenne de balancement du corps, la portée moyenne du déplacement ;

  3. la distance par rapport au pôle ou tout autre point matériel ;

  4. les compteurs chronologiques pour décrire la relation entre deux individus en mouvement : le temps du rapprochement/éloignement, l’approximation de la vitesse de leur déplacement, la superposition d’une position (la durée de synchronisation du mouvement).

Figure 8. Motion Data Control dans MaxMSP (à développer)

25

4. Le temps d’immobilité du corps en tant que paramètre manipulable dans l’acte interactif

26Nous disposons d’un jeu somatique simple15 : sur sa wii balance board, le joueur doit déplacer son centre de gravité dans un cadre délimité et maintenir cette position un certain temps. Une fois que le sujet arrive à surmonter le défi, le temps maximal à atteindre sera automatiquement augmenté. En même temps, le franchissement du seuil maximum déclenchera certains événements sonores (voir figure 9).

27J’ai fait appel à deux cadres théoriques de la psychologie ergonomique : « anticipation de trajectoire » (Cognitive Motion Extrapolation) et « horloge interne » (Cognitive Clocking) pour la conception d’une « barre de progression » (l’estimation de la durée) dans laquelle l’évolution n’est pas forcement indiquée de façon linéaire. Elle peut présenter des modalités temporelles différentes comme l’accélération ou le ralentissement tout en conservant la même durée16 et 17. Présentons maintenant quelques modules concernant la manipulation des paramètres temporels sur nos panneaux de contrôle dans la plateforme MaxMSP : (figure 9 à figure 11)

Figure 9.

28

La barre de progression est montrée pour encourager l’engagement et l’implication des apprenants.

Figure 10.

29

Une mise en œuvre alternative de la « barre de progression » : si le centre de gravité du corps (le cercle en rose) persiste sur une région spécifique, une brique colorée va apparaître. Plus le joueur y reste longtemps, plus les couleurs deviennent foncées, les effets sonores sont également plus explicites.

Figure 11.

La barre de progression en tant que curseur pour manipuler un séquenceur audio.

5. La musicalisation du mouvement corporel

30Notre approche tente de déployer des possibilités de l’expérience sensorielle et somatique dans l’environnement sonore et musical. Je vais maintenant proposer quelques stratégies musicales interactives :

5. 1. La vacillation du corps en tant qu’oscillateur à très basse fréquence

31Le LFO (Oscillateur à très basse fréquence, moins de 20 Hz) est généralement utilisé pour faire des modulations de signal sous-audio de l’onde de la pulsation au mouvement lent. Il s’agit d’un mouvement ondulatoire « silencieux ».18 Nous proposons trois maquettes de mise en œuvre de LFO :

321) Rappelons un des principes de la pratique de l’approche somatique : « Ralentir le mouvement corporel pour élargir la conscience corporelle ». Les mouvements lents obtenus par l’(Inner)motion sont susceptibles de contrôler plusieurs attributs de synthèse sonore : panoramisation du son, volume, fréquence de hauteur, temps de décroissement… de façon continue. Voir un extrait de patch ci-dessous réalisé dans la plateforme de SuperCollider (voir figure 12).

332) Le LFO est utilisé non seulement pour produire des modulations sonores, mais aussi pour « moduler » les effets sonores eux-mêmes, à travers l’approche d’« interpolation numérique » (voir figure 13).

343). Notre outil Data Stream Control permet de mesurer la fréquence d’oscillation moyenne de balancement du corps.19 On peut transformer cette donnée obtenue en différents paramètres musicaux.

35Afin de cultiver cette écoute des sensations trans-modales (auditive, visuelle, tactile, kinesthésique) provenant de tout corps, nous proposons plusieurs exercices kinesthésiques liés à l’expérience musicale : le déphasage, les illusions ambiguës entre le son pulsé et le son continu, les battements binauraux…

Figure 12. Un extrait de patch dans SuperCollider

36

Figure 13. Un contrôleur dans MaxMSP (l’image à gauche) et la fonctionnalité de Pattrstorage (l’image à droite)

37

38Cette expérience musicale interactive a pour but de favoriser une mobilisation d’apprentissage entre l’aspect moteur-sensoriel et cognitif. En manipulant les paramètres autour de LFO et en écoutant les transformations d’effets sonores, les joueurs peuvent faire osciller non seulement les matériaux sonores, mais aussi, dans le sens sous-jacent, faire osciller (faire bouger) leurs perceptions, leurs pensées, voire les mauvaises habitudes enracinées. Tout du moins, il leur suffit de faire vibrer « la corde de l’autoréflexion », pour percevoir ce qui était imperceptible.

5. 2. L’analyse multi-échelle de la qualité du mouvement pour construire un espace sensiblement articulatoire

39Notre stratégie musicale consiste à mettre en articulation les trois échelles de perception du mouvement que je viens de définir dans la partie plus haute.

40Deux états opposés du mouvement (le corps en repos ou en déplacement) sont « transformés » en deux moteurs sonores : l’un est le son lisse et continu (l’état immobile du corps), l’autre est le son dynamique et granulaire (l’état mobile du corps).

41Dans l’analyse échelle mésoscopique du mouvement, j’ai tiré parti des facteurs cinématiques pour mettre en correspondance le moteur de son granulaire : la grandeur vectorielle contrôle les fréquences de sonorité, l’accélération du mouvement varie l’intensité du son granulaire. Pour le mouvement moins inhabituel (par exemple, la flexion sur jambe), je l’ai aussi sonorisé par un son impulsif de très basse fréquence ou un glissando dans le sens descendant pour renforcer la perception de force gravitationnelle et donner une sensation de chute.

42Quant à l’exercice de la perception du micromouvement, il s’agit d’ici de fixer le centre de gravité du corps dans un carré spécifique pour que les petites secousses puissent varier très légèrement l’intensité des sons granulaires. En plus, j’ai utilisé la méthode du « curseur dela barre de progression » dont j’ai parlé plus haut pour faire varier la déviation de portion de hauteur d’une note (Pitch-shift).

43

Voici la vidéo IV pour montrer une maquette de la musique interactive au profit de notre premier outil Inner(Motion) : https://vimeo.com/71008659 (code d’accès : paris8)

6. Synthèse du travail actuel et projet futur

44Dans notre approche de l’expérience somatique liée à la musique interactive, on peut percevoir un espace virtuel de l’intérieur du corps. Au cours de ces exercices corporels, on retrouve un dynamisme psychosomatique intéressant par l’écoute kinesthésique ; des enchaînements complexes de mouvements opérés par chaque partie du corps des participants sont remarquables : l’ouverture des bras, une rotation de la nuque, le déplacement du regard, tout s’engage spontanément. Afin de mieux décrire la qualité de ces mouvements corporels, nous étudierons le mouvement capté par la kinect20 afin d’analyser des paramètres supplémentaires (exemples : le centre de masse segmentaire et global, le moment d’inertie…). Nous ferons appel à des outils techniques liés à plusieurs types de géométries : les géométries euclidienne, équi-affine et complètement affine pour modéliser ces mouvements du corps sur la wii balance board provoqués par l’écoute musicale. Sur cette idée, Alain Berthoz a proposé une remarquable approche pour comprendre et étudier des espaces du mouvement du corps (Bennequin, Fuchs, Berthoz, Flash, 2009 ; Berthoz, 2009). Toutes ces considérations autour de l’espace géométrique me mènent d’ailleurs à penser à la formalisation de la musique interactive. Le travail d’Horacio Vaggione (1998) et celui de Guilherme Carvalho (2010) nous donnent des repères pour prolonger ce chemin de recherche de la mise en correspondance entre le concept de la géométrie et celui de la formalisation de la musique interactive.

Conclusion

45Comme l’invention du capteur wii balance board favorise un examen du concept de l’expérience somatique dans l’environnement numérique, nous percevons la nécessité d’intégrer de ce nouveau concept et des nouvelles approches dans la création musicale, ceci est en interaction avec ma recherche. C’est ainsi que trois outils ont été proposés pour l’exploration et la musicalisation du mouvement corporel. Par quelques expérimentations, nous montrons une élaboration des stratégies d’interaction mettant en correspondance la dynamique psychocorporelle et l’expressivité de l’écriture sonore numérique. Ces stratégies peuvent avoir un impact corporel et intersensoriel bénéfique dans un contexte somatique. Ici donc, on est dans une première étape de construction des outils pour une interaction sensible avec des environnements sonores et musicaux – la composition de ces environnements, autrement dit, espaces sensibles, fera l’objet de nos travaux futurs.

Bibliographie   

Bennequin D., Fuchs R., Berthoz A., Flash T. (2009), Movement Timing and Invariance Arise from Several Geometries, PLoS Comput Biol, 5(7), Olaf Sporns, Indiana University, United States of America.

Berthoz A. (2003), La décision, Paris, Odile Jacob.

Berthoz A. (2009), « Les caractéristiques temporelles et l’invariance du mouvement résultent de plusieurs géométries », La lettre du Collège de France, mis en ligne le 24 juin 2010. http://lettre-cdf.revues.org/344

Carvalho G.(2010), « Formaliser la forme », in Soulez A., Vaggione H. (dir.), Manières de faire des sons, Paris, L’Harmattan, p. 101-118.

Cegarra J., Rattat A.-C., Valax M.-F. (2008), « Estimer la durée d’une tâche par une barre de progression : horloge interne ou représentation spatiale ? », Journée d’étude sur le traitement cognitif des systèmes d’information complexes, université de Toulouse le Mirail, http://jetcsic2008.free.fr/PDF/CEGARRA%20et%20al.%20JETCSIC%202008.pdf

Fogtmann M.H. (2012), “Kinesthetic Empathy Interaction: Exploring the Concept of Psychomotor Abilities and Kinesthetic Empathy in Designing Interactive Sport Equipment, in Dee Reynolds, Matthew Reason (Ed.), Kinesthetic Empathy in creative and cultural practices, UK, Intellect, p. 305.

Gibson R. (2011),Capturing Stillness: Visualisations of dance through motion/performance capture”,Electronic Visualisation and the Arts (EVA 2011), London.

Hanna T. (1989), Somatics, trad. de l’américain par Sylvie Pizzuti, La somatique ‬: ‪comment contrôler par l’esprit la mobilité, la souplesse et la santé du corps‬, Paris, InterEdition, 220 p‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬.

Harrison C., Amento B., Kuznetsov S., Bell R. (2007), “Rethinking the Progress Bar”, Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology, Newport, Rhode Island, USA, NY: ACM, p. 115-118. http://chrisharrison.net/projects/progressbars/ProgBarHarrison.pdf

Nadel J. (2011), Imiter pour grandir – développement du bébé et de l’enfant avec autisme, Paris, Dunod.

Noorden L. van (2010), “The Fonctional Role and Bio-kinetics of Basic and Expressive Gestures in Activation and Sonification”, in R. I. Godøy, M. Leman (Ed.), Musical Gestures - Sound, Movement, and Meaning, NewYork: Routledge.

Parienté J. (2008), « Informatique et perception du temps », En quête de sciences, http://sciences.blog.lemonde.fr/2008/03/11/informatique-et-perception-du-temps/

Taylor G. (2008), “LFO Turtorial 1: The Zen of The Silent Patch”,cycling74, http://cycling74.com/2008/07/15/lfo-tutorial-1-the-zen-of-the-silent-patch/

Sklar D. (1994), “Can Bodylore be brought to its senses?”, The Journal of American Folklore, vol. 107, n° 423, p. 9-22.

Vaggione H. (1998), « L’espace composable. Sur quelques catégories opératoires dans la musique électroacoustique », L’espace : Musique/Philosophie, Paris, L’Harmattan, p. 153-166.

Notes   

1  Selon le Petit Robert, le terme « somatique » désigne, étymologiquement, le corps (du grec sômatikos, de sôma), par opposition à l’esprit, à la psyché. Qui est purement organique, qui provient de causes physiques. p. 2393.

2  Dans le champ de la pratique en France, la discipline « somatic » se traduit souvent par la « rééducation somatique ». Dans notre travail, on préfère garder le mot « somatique » tout simple.

3  Berthoz (2003, p. 168) : « Il faut simplement être capable de manipuler mentalement le double qui est en nous, qu’il soit appelé “modèle interne”, “schéma corporel”. Il faut émuler dans notre cerveau ce corps virtuelcomme lorsque nous imaginons que nous nous déplaçons pour aller nous asseoir de l’autre côté de la pièce […] ».

4  Nintendo est une entreprise japonaise qui fut l’un des principaux précurseurs et de console et du jeu vidéo dans le monde entier. http://www.nintendo.fr

5  Selon le directeur de Nintendo Shigeru Miyamoto : « Wii Fit is a game that facilitates corporeal discoveries. I don’t think Wii Fit’s purpose is to make you fit. What it’s actually aiming to do is make you aware of your body. If you’re standing still, and it tells you “Your body is swaying”, you can see on the training results screen that your body has been shaking. But I think you’d never realize that your body is shaking in day-to-day life. I think becoming aware of things like this about yourself is quite interesting. » L’entretien est intitulé “Iwata Ask”, Volume I Part 5 - The Importance of Being Aware of One’s Body. http://iwataasks.nintendo.com/interviews/#/wii/wii_fit/0/4

6  L’installation sonore interactive a été présentée dans le cadre du festival « Le mai qu’il te plaît », espace Synesthésie à Saint-Denis du 20 mai au 16 juillet 2011.

7  http://www.nintendo.com/consumer/downloads/wiiBalanceBoard.pdf

8  Sa nouvelle version (wii fit plus) est lancée en 2009 dans laquelle 15 nouvelles activités ont été ajoutées pour la wii balance board.

9  http://opensoundcontrol.org/introduction-osc

10  http://www.osculator.net

11  Téléchargeable sur le site http://cnmat.berkeley.edu/patch/4029

12  La bibliothèque d’objets « OpenObject » est élaborée par Julian Rohrhuber. Son manuel est fait par Fredrik Olofsson. C’est un outil intermédiaire permettant la commande des objets de SuperCollider avec d’autres logiciels. http://www.subnet.at/content/supercollider-tutorials-0

13  Deux modules de Jamoma GDIF Tools ont été utilisés dans notre système. http://www.jamoma.org

14  C’est moi qui traduis, du texte anglais : « [...] the capacity to participate with another’s movement or another’s sensory experience of mouvement [...]», Deidre Sklar (1994) cité par Maiken Hillerup Fogtmann (2012).

15  Cet exercice peut se jouer à une ou deux personnes, dans le cas de l’insuffisance de dispositif wii balance board, l’utilisateur peut opérer une souris en tant que simulateur du mouvement.

16  Voir Parienté (2008) à propos de la présentation de travail de Harrison, Amento, Kuznetsov, Bell (2007).

17  Voir Cegarra, Rattat, Valax (2008).

18  Expression employée par Gregory Taylor (2008).

19  La prise en compte de ce paramètre est inspirée par Leon van Noorden (2010, p. 157) qui indique que la fréquence moyenne (2 Hz) de marche est influencée par la magnitude de la force gravitationnelle.

20  Kinect est issu des mots anglais « kinetic » et « connect ». À l’origine, il s’agit d’un périphérique destiné à une console de jeux vidéo « XBox 360 ».

Citation   

Yi-Chun KO, «Espace sensible : une proposition d’expérience somatique à partir de la musique interactive», Revue Francophone d'Informatique et Musique [En ligne], n° 3 - automne 2013, Numéros, mis à  jour le : 06/12/2013, URL : http://revues.mshparisnord.org/rfim/index.php?id=262.

Auteur   

Quelques mots à propos de :  Yi-Chun KO

Doctorante en esthétique, sciences et technologies des arts, spécialité musique, à l’université de Paris 8, CICM EA 1572, celine1215@gmail.com