Quelles nouvelles possibilités offre le progrès technologique à notre expérience d'écoute? Le projet de recherche MetaPhase se concentre sur l'interaction entre musiciens humains et virtuels dans un nouveau monde qui englobe à la fois l'espace réel et l'espace virtuel. Dans le cadre du Prix STARTS 2023 européen, la recherche vient de recevoir une mention honorable de la Commission européenne. MetaPhase a été sélectionné parmi plus de 1600 candidatures.
Ce qui est remarquable dans ce projet, c'est que les mouvements et gestes des interprètes sont capturés avec une grande précision par un système de suivi de mouvement et qu'ils sont incarnés à l'écran sous la forme d'un avatar numérique. Ainsi, le public peut se laisser emporter par chaque détail de la relation entre le geste et le son.
MetaPhase est le résultat artistique d'une collaboration entre Giusy Caruso et la startup innovante LWT3 d'Italie. Caruso est une pianiste de concert et chercheuse postdoctorale qui se concentre sur l'étude de l'interaction homme-machine (HMI) pour la création de formats multimédias futuristes et l'analyse des performances musicales. En tant que présidente du groupe de recherche CREATIE au Conservatoire royal d'Anvers et chercheuse affiliée à l'Université IPEM-Gand, elle est conseillère musicale officielle de la Société LWT3 Milan. LWT3 se concentre sur l'analyse de données, la visualisation, le développement d'infrastructure IoT et les solutions d'interaction homme-machine.
Cette recherche collaborative a été motivée pour mettre en avant le potentiel créatif du traitement des données, de l'interaction homme-machine et des applications biotechnologiques
© Giusy Caruso
dans une performance XR. L'objectif était d'améliorer l'expressivité des interprètes et l'expérience d'écoute du public. Le cœur du système est un système portable et convivial (prototype), développé par LWT3, capable de collecter des biosignaux.
Le système mappe les gestes et fournit des données quantitatives sur le déplacement, l'accélération et la vitesse des mouvements. De cette façon, les musiciens obtiennent des informations précieuses sur leur approche physique lors de la pratique d'un instrument. Cela permet au musicien de mieux identifier les domaines d'amélioration possibles.
Sur la base des mouvements des musiciens, le système crée également un agent virtuel (généralement un avatar) qui se déplace sur scène. Les musiciens sont équipés de marqueurs réfléchissants sur leur corps et d'un capteur biométrique qui capture les gestes et l'effort musculaire associé en temps réel via des caméras infrarouges. En résumé, cette forme de co-création de musique live contient les premières expériences avec le suivi de mouvement OptiTrack, les appareils de signaux biométriques de LWT3, la technologie VR et l'utilisation d'un piano Yamaha Disklavier.
De cette perspective de visualisation des mesures corporelles, Giusy Caruso et LWT-3 ont développé l'idée de créer également des performances numérisées. Par exemple, elle joue Piano Phase de Steve Reich pour deux pianos par interaction avec un autre avatar-pianiste qui joue la première partie de la pièce. Ce deuxième humain virtuel est animé par le mouvement expressif du vrai pianiste qui a été enregistré plus tôt avec une piste audio sur un piano Disklavier.
Le projet souligne que nous vivons à une époque où une attention croissante est accordée aux approches hybrides (physique + numérique) dans des espaces hybrides (réel + virtuel). Contre toute attente, les gens se sont habitués à vivre dans des environnements virtuels et à communiquer via des smartphones ou des ordinateurs portables. Avec le développement des projections AR/VR, les gens peuvent maintenant créer des interactions de leur avatar dans le 'métaverse' (un monde virtuel avec des avatars et des jetons). Ce métaverse n'en est qu'au début d'une évolution qui contient encore de nombreuses énigmes et incertitudes mais qui se développe progressivement à chaque étape.
