Welche neuen Möglichkeiten bietet der technologische Fortschritt für unser Hörerlebnis? Das Forschungsprojekt MetaPhase befasst sich mit der Interaktion zwischen menschlichen und virtuellen Musikern in einer neuen Welt, die sowohl den echten als auch den virtuellen Raum umfasst. Im Rahmen des Europäischen STARTS 2023 Award hat die Forschung gerade eine ehrvolle Erwähnung der Europäischen Kommission erhalten. MetaPhase wurde aus über 1600 Bewerbungen ausgewählt.
Bemerkenswert an diesem Projekt ist, dass die Bewegungen und Gesten der Künstler mit hoher Genauigkeit von einem Motion-Tracking-System erfasst werden und auf dem Bildschirm in Form eines digitalen Avatars verkörpert werden. So kann das Publikum sich von jedem Detail der Beziehung zwischen Geste und Klang mitreißen lassen.
MetaPhase ist das künstlerische Ergebnis einer Zusammenarbeit zwischen Giusy Caruso und dem innovativen Start-up LWT3 aus Italien. Caruso ist Konzertpianistin und Postdoktorandin, die sich der Untersuchung der Mensch-Maschine-Interaktion (HMI) für die Schaffung futuristischer Multimediaformate und die Analyse von Musikaufführungen widmet. Als Vorsitzende der Forschungsgruppe CREATIE am Königlichen Konservatorium Antwerpen und angegliederte Forscherin an der IPEM-Universität Gent ist sie offizielle Musikberaterin der LWT3 Society Milan. LWT3 konzentriert sich auf Datenanalyse, Visualisierung, IoT-Infrastrukturentwicklung und Lösungen für die Mensch-Maschine-Interaktion.
Diese gemeinsame Forschung wurde angetrieben, um das kreative Potenzial der Datenverarbeitung, der Mensch-Maschine-Interaktion und biotechnologischer Anwendungen
© Giusy Caruso
in einer XR-Aufführung darzustellen. Das Ziel war es, die Ausdruckskraft der Künstler und das Hörerlebnis des Publikums zu verbessern. Der Kern ist ein tragbares, benutzerfreundliches System (Prototyp), das von LWT3 entwickelt wurde und in der Lage ist, Biosignale zu erfassen.
Das System erfasst Gesten und liefert quantitative Daten über Verschiebung, Beschleunigung und Geschwindigkeit der Bewegungen. Auf diese Weise erhalten Musiker wertvolle Informationen über ihren körperlichen Umgang mit dem Spielen eines Instruments. Dadurch weiß der Musiker besser, wo sich Verbesserungsmöglichkeiten ergeben.
Basierend auf den Bewegungen von Musikern erzeugt das System auch einen virtuellen Agenten (normalerweise einen Avatar), der auf der Bühne sich bewegt. Die Musiker sind mit reflektierenden Markern an ihrem Körper und einem Biosensor ausgestattet, die über Infrarotkameras die Gesten und die damit verbundene Muskelanspannung in Echtzeit erfassen. Zusammengefasst umfasst diese Form der Co-Creation von Live-Musik die ersten Experimente mit OptiTrack-Motion-Tracking, LWT3s biometrischen Signalgeräten und VR-Technologie sowie die Verwendung eines Yamaha Disklavier-Klaviers.
Aus dieser Perspektive der Visualisierung von Körpermessungen haben Giusy Caruso und LWT-3 die Idee entwickelt, auch digitalisierte Aufführungen zu schaffen. So spielt sie beispielsweise Steve Reichs Piano Phase für zwei Klaviere durch die Interaktion mit einem anderen Avatar-Pianisten, der den ersten Teil des Stücks spielt. Dieser zweite virtuelle Mensch wird durch die ausdrucksvolle Bewegung des echten Pianisten animiert, der früher zusammen mit einer Audiospur auf einem Disklavier-Klavier aufgenommen wurde.
Das Projekt unterstreicht, dass wir uns in einer Zeit befinden, in der hybriden Ansätze (physisch + digital) in hybriden Räumen (echt + virtuell) zunehmend Aufmerksamkeit erhalten. Entgegen besseren Wissens sind die Menschen daran gewöhnt, in virtuellen Umgebungen zu leben und über Smartphones oder Laptops zu kommunizieren. Mit der Entwicklung von AR/VR-Projektionen können Menschen nun auch Interaktionen ihrer Avatare in der ‚Metaverse' (einer virtuellen Welt mit Avataren und Tokens) schaffen. Diese Metaverse steht erst am Anfang einer Entwicklung, die noch viele Rätsel und Unsicherheiten birgt, sich aber Schritt für Schritt immer weiter entwickelt.
