Quelles nouvelles possibilités le progrès technologique offre-t-il à notre expérience d'écoute ? Le projet de recherche MetaPhase se concentre sur l'interaction entre musiciens humains et virtuels dans un nouveau monde qui englobe à la fois l'espace réel et l'espace virtuel. Dans le cadre du Prix STARTS 2023 de l'Union européenne, la recherche vient de recevoir une mention honorable de la Commission européenne. MetaPhase a été sélectionné parmi plus de 1 600 candidatures.
Ce qui distingue ce projet, c'est que les mouvements et les gestes des interprètes sont enregistrés avec une grande précision par un système de capture de mouvement, puis incarnés à l'écran sous la forme d'un avatar numérique. Le public peut ainsi se laisser porter par chaque détail de la relation entre geste et son.
MetaPhase est le résultat artistique d'une collaboration entre Giusy Caruso et la start-up innovante LWT3, basée en Italie. Caruso est pianiste de concert et chercheuse postdoctorale spécialisée dans l'étude de l'interaction homme-machine (HMI) pour la création de formats multimédias futuristes et l'analyse des interprétations musicales. Présidente du groupe de recherche CREATIE du Conservatoire royal d'Anvers et chercheuse affiliée à l'IPEM de l'Université de Gand, elle est officiellement conseillère musicale de LWT3 Society Milan. LWT3 se consacre à l'analyse de données, à la visualisation, au développement d'infrastructures IoT et aux solutions d'interaction homme-machine.
Cette recherche conjointe a été menée afin d'exploiter le potentiel créatif du traitement des données, de l'interaction homme-machine et des applications biotechnologiques dans une présentation XR. L'objectif était d'améliorer l'expressivité des interprètes et l'expérience d'écoute du public. Le cœur du projet est un système portable et convivial (prototype), développé par LWT3, capable de recueillir des biosignaux.
Le système cartographie les gestes et fournit des données quantitatives sur le déplacement, l'accélération et la vitesse des mouvements. Les musiciens obtiennent ainsi des informations précieuses sur leur approche corporelle lorsqu'ils jouent de leur instrument. Ils savent donc mieux où se situent les possibilités d'amélioration.
Sur la base des mouvements des musiciens, le système crée également un agent virtuel (généralement un avatar) qui évolue sur scène. Les musiciens portent des marqueurs réfléchissants sur le corps et un biocapteur qui, via des caméras infrarouges, enregistrent en temps réel les gestes et l'effort musculaire correspondant. En résumé, cette forme de co-création de musique en direct comprend les premières expérimentations avec la capture de mouvement OptiTrack, les appareils de signaux biométriques de LWT3, la technologie VR et l'utilisation d'un piano Yamaha Disklavier.
Dans cette perspective de visualisation des mesures corporelles, Giusy Caruso et LWT3 ont développé l'idée de réaliser également des présentations numérisées. Elle joue par exemple Piano Phase de Steve Reich pour deux pianos en interaction avec un autre pianiste-avatar qui interprète la première partie de l'œuvre. Ce second être virtuel est animé par le mouvement expressif du véritable pianiste, préalablement enregistré avec une piste audio sur un piano Disklavier.
Le projet souligne que nous vivons à une époque où l'attention se porte de plus en plus sur les approches hybrides (physique + numérique) dans des espaces hybrides (réel + virtuel). Bien malgré eux, les gens se sont habitués à vivre et à communiquer dans des environnements virtuels via leurs smartphones ou ordinateurs portables. Avec le développement des projections AR/VR, les individus peuvent désormais aussi créer des interactions de leur avatar dans le « métavers » (un monde virtuel peuplé d'avatars et de jetons). Ce métavers n'en est qu'au début d'un développement qui recèle encore de nombreuses inconnues et incertitudes, mais qui prend progressivement de l'ampleur.