Welche neuen Möglichkeiten bietet der technologische Fortschritt für unser Hörerlebnis? Das Forschungsprojekt MetaPhase befasst sich mit der Interaktion zwischen menschlichen und virtuellen Musikern in einer neuen Welt, die sowohl den echten als auch den virtuellen Raum umfasst. Im Rahmen des europäischen STARTS 2023 Award hat die Forschung gerade eine ehrvolle Erwähnung der Europäischen Kommission erhalten. MetaPhase wurde aus über 1600 Anmeldungen ausgewählt.
Bemerkenswert an diesem Projekt ist, dass die Bewegungen und Gesten der Ausführenden mit hoher Präzision von einem Motion-Tracking-System erfasst werden und sie auf dem Bildschirm in Form eines digitalen Avatars verkörpert werden. So kann das Publikum sich von jedem Detail der Beziehung zwischen Geste und Klang mitreißen lassen.
MetaPhase ist das künstlerische Ergebnis einer Zusammenarbeit zwischen Giusy Caruso und dem innovativen Start-up LWT3 aus Italien. Caruso ist Konzertpianistin und Postdoktorandin, die sich der Untersuchung der Mensch-Maschine-Interaktion (HMI) zur Erstellung zukünftiger Multimediaformate und zur Analyse von Musikaufführungen widmet. Als Vorsitzende der Forschungsgruppe CREATIE am Königlich Flämischen Konservatorium Antwerpen und angegliederte Forscherin an der IPEM-Universität Gent ist sie offizielle Musikberaterin der LWT3 Society Milan. LWT3 konzentriert sich auf Datenanalyse, Visualisierung, IoT-Infrastrukturentwicklung und Mensch-Maschine-Interaktionslösungen.
Diese gemeinsame Forschung wurde durchgeführt, um das kreative Potenzial der Datenverarbeitung, Mensch-Maschine-Interaktion und biotechnologischen Anwendungen
[caption id="attachment_50279" align="alignleft" width="200"]
© Giusy Caruso[/caption]
in einer XR-Aufführung darzustellen. Das Ziel war es, die Ausdruckskraft der Ausführenden und das Hörerlebnis des Publikums zu verbessern. Der Kern ist ein tragbares, benutzerfreundliches System (Prototyp), das von LWT3 entwickelt wurde und in der Lage ist, Biosignale zu sammeln.
Das System erfasst Gesten und liefert quantitative Daten über Verschiebung, Beschleunigung und Geschwindigkeit der Bewegungen. Auf diese Weise erhalten Musiker wertvolle Informationen über ihren körperlichen Ansatz beim Spielen eines Instruments. Dadurch weiß der Musiker besser, wo sich Verbesserungsmöglichkeiten ergeben.
Basierend auf den Bewegungen von Musikern erstellt das System auch einen virtuellen Agenten (meist einen Avatar), der auf der Bühne bewegt. Die Musiker sind mit reflektierenden Markern an ihrem Körper und einem Biosensor ausgestattet, der über Infrarotkameras die Gesten und die entsprechende Muskelbelastung in Echtzeit erfasst. Zusammengefasst umfasst diese Form der Co-Creation von Live-Musik die ersten Experimente mit OptiTrack Motion Tracking, LWT3-Biometrie-Geräten und VR-Technologie sowie die Verwendung eines Yamaha Disklavier-Klaviers.
Aus dieser Perspektive der Visualisierung körperlicher Messungen haben Giusy Caruso und LWT-3 die Idee entwickelt, auch digitalisierte Aufführungen zu erstellen. So spielt sie beispielsweise Steve Reichs Piano Phase für zwei Klaviere durch Interaktion mit einem anderen Avatar-Pianisten, der den ersten Teil des Stücks spielt. Dieser zweite virtuelle Mensch wird durch die ausdrucksstarke Bewegung des echten Pianisten animiert, die zuvor zusammen mit einer Audiospur auf einem Disklavier-Klavier aufgenommen wurde.
Das Projekt unterstreicht, dass wir uns in einer Ära befinden, in der hybride Ansätze (physisch+digital) in hybriden Räumen (echt+virtuell) immer mehr Aufmerksamkeit erhalten. Entgegen besseren Wissens haben sich Menschen daran gewöhnt, in virtuellen Umgebungen zu leben und über Smartphones oder Laptops zu kommunizieren. Mit der Entwicklung von AR/VR-Projektionen können Menschen nun auch Interaktionen ihres Avatars im „Metaverse" (einer virtuellen Welt mit Avataren und Tokens) erstellen. Dieses Metaverse steht erst am Anfang einer Entwicklung, die noch viele Rätsel und Unsicherheiten birgt, sich aber Schritt für Schritt immer mehr entwickelt.