Welke nieuwe mogelijkheden biedt technologische vooruitgang voor onze luisterervaring? Het onderzoeksproject MetaPhase richt zich op interactie tussen menselijke en virtuele musici in een nieuwe wereld die zowel de echte als de virtuele ruimte omvat. In het kader van het Europese STARTS 2023 Award heeft het onderzoek heeft zojuist een eervolle vermelding van de Europese Commissie gekregen. MetaPhase werd geselecteerd uit ruim 1600 aanmeldingen.
Opmerkelijk aan dit project is dat de bewegingen en gebaren van de uitvoerders met hoge nauwkeurigheid worden vastgelegd door een motion tracking-systeem en dat ze op het scherm worden belichaamd in de vorm van een digitale avatar. Zo kan het publiek zich laten meevoeren met elk detail van de relatie tussen gebaar en geluid.
MetaPhase is het artistieke resultaat van een samenwerkingsverband tussen Giusy Caruso en de innovatieve start-up LWT3 uit Italië. Caruso is concertpianiste en postdoctoraal onderzoeker die zich toelegt op de studie van mens-machine-interactie (HMI) voor de creatie van futuristische multimediaformaten en de analyse van muziekuitvoeringen. Als voorzitster van de onderzoeksgroep CREATIE aan het Koninklijk Conservatorium Antwerpen en geaffilieerd onderzoeker aan de IPEM-Gent Universiteit, is ze officieel muziekadviseur van LWT3 Society Milan. LWT3 richt zich op data-analyse, visualisatie, IoT-infrastructuurontwikkeling en mens-machine-interactieoplossingen.
Dit gezamenlijke onderzoek werd gedreven om het creatieve potentieel van gegevensverwerking, mens-machine-interactie en biotechnologische toepassingen
© Giusy Caruso
in een XR-voorstelling in beeld te brengen. Het doel was de expressiviteit van de uitvoerders en de luisterervaring van het publiek te verbeteren. De kern is een draagbaar, gebruiksvriendelijk systeem (prototype), ontwikkeld door LWT3, dat in staat is biosignalen te verzamelen.
Het systeem brengt gebaren in kaart en verschaft kwantitatieve gegevens over verplaatsing, versnelling en snelheid van de bewegingen. Op die manier verkrijgen musici waardevolle informatie over hun lichamelijke aanpak bij het bespelen van een instrument. Daardoor weet de musicus beter waar zich mogelijkheden tot verbetering aandienen.
Op basis van de bewegingen van musici creëert het systeem ook een virtuele agent (meestal een avatar) die op het podium bewegen. De musici zijn voorzien van reflecterende markers op hun lichaam en een biosensor die via infraroodcamera’s de gebaren en de bijbehorende spierinspanning in realtime vastleggen. Samengevat bevat deze vorm van co-creatie van livemuziek de eerste experimenten met OptiTrack motiontracking, LWT3’s biometrische signalen apparaten, en VR technologie en het gebruik van een Yamaha Disklavier piano.
Vanuit dit perspectief van visualisatie van lichamelijke metingen hebben Giusy Caruso en LWT-3 het idee ontwikkeld om ook gedigitaliseerde voorstellingen te gaan maken. Zo speelt zij bijvoorbeeld Steve Reichs Piano Phase voor twee piano’s door interactie met een andere avatar-pianist die het eerste deel van het stuk speelt. Deze tweede virtuele mens wordt geanimeerd door de expressieve beweging van de echte pianist die eerder is opgenomen samen met een audiotrack op een Disklavier piano.
Het project onderstreept dat wij ons in een tijdperk bevinden waar steeds meer aandacht is voor hybride benaderingen (fysiek+digitaal) in hybride ruimtes (echt+virtueel). Tegen beter weten in zijn mensen eraan gewend geraakt in virtuele omgevingen te leven en te communiceren via smartphones of laptops. Met de ontwikkeling van AR/VR-projecties kunnen mensen nu ook interacties van hun avatar creëren in de ‘metaverse’ (een virtuele wereld met avatars en tokens). Deze metaverse staat pas aan het begin van een ontwikkeling die nog veel raadsels en onzekerheden kent maar zich stap voor stap steeds meer ontwikkelt.
