Interview mit Dr. Andreas Wilzeck, Vorsitzender des LIPS-Konsortiums, Manager Spectrum Policy and Standards bei Sennheiser

Herr Dr. Wilzeck, als Vorsitzender des LIPS-Konsortiums haben Sie miterlebt, dass das Forschungsthema des LIPS-Projektes, die Vernetzung von Teilnehmern an verschiedenen Orten, mit der Coronakrise eine ungeahnte Aktualität bekommen hat.

AW: Natürlich gab es beim Projektstart 2018 noch keinerlei Hinweise auf die derzeitige Entwicklung. Unser Augenmerk lag einzig und allein darauf, wie wir in unserem Markt für unsere Kunden Dinge besser machen können. Das LIPS-Projekt hat nie als Vision gehabt, reale Events zu ersetzen. Vielmehr ging es uns darum, sie zu ergänzen und mit neuen künstlerischen Freiheitsgraden auszustatten. Als Forschungsprojekt entwickeln wir selbst keine Produkte. Nichtsdestotrotz können wir eine Inspiration liefern, wie Lösungen – auch für die aktuelle Krise – aussehen könnten.

Könnten Sie noch einmal kurz das LIPS-Projekt umreißen? Was war die Zielsetzung des Forschungskonsortiums?

AW: Wir haben uns gefragt, wie man grundsätzlich zwei Örtlichkeiten so miteinander vernetzen kann, dass die Teilnehmer an diesen Orten nicht notwendigerweise mehr einen Unterschied merken, ob sie tatsächlich physisch vernetzt sind oder nicht. Wie schafft man es, ein Erlebnis derart immersiv zu gestalten? Ein Gedankengang und eine Lösung, die zum Beispiel auch von der Gottfried Wilhelm Leibniz Universität Hannover vorangetrieben wurde, sieht folgendermaßen aus: Ich habe einen Konferenzraum an einem Ort A und einen Konferenzraum an Ort B. Eine Wand der Konferenzräume ist im Prinzip ein großer Bildschirm, und es wird durch Immersionstechniken sowie Bild- und Audioabgleich dafür gesorgt, dass alle Teilnehmer in dieser Konferenz den Eindruck gewinnen, dass sie alle zusammen in einem Raum sind und an ein und derselben Konferenz teilnehmen. Ein anderer Anwendungsfall wäre etwa eine Ratsversammlung, an der alle Ortsräte teilnehmen, sodass im Prinzip eine gefensterte Realität für die Teilnehmer in den jeweiligen Dörfern generiert wird. Solcher Fragestellungen hat sich das LIPS Projekt angenommen.

Was wäre ein typisches Anwendungsbeispiel für Musik und Konzerte?

AW: Es gibt Fälle, in denen es fantastisch wäre, Konzerte miteinander zu vernetzen und verschiedene Bands miteinander spielen zu lassen. Nehmen wir einmal an, ein Konzert findet in Frankfurt statt, ein anderes parallel in Mannheim. Was wäre, wenn diese Veranstaltungen dann plötzlich gemeinsam ein Stück zusammen spielen könnten? Oder aber wir haben auf der einen Seite einen berühmten Künstler und auf der anderen einen Newcomer, für den er wie ein Mentor ist und für den er virtuell auf der Bühne erscheinen soll. In diesem Zusammenhang sprechen wir von Networked Music Performance. Wir wollten im Prinzip erst einmal austesten, was in Zukunft an den Arbeitsabläufen und Workflows durch neue Technologien verbessert werden kann.

Abgesehen davon, dass vielleicht die eine oder andere Anwendungsmöglichkeiten offenkundiger zutage getreten ist: Wie hat sich Corona auf die Zusammenarbeit der Projektpartner ausgewirkt?

AW: Corona hat natürlich sehr frühzeitig dafür gesorgt, dass wir auf physische Projekttreffen verzichten mussten. Plötzlich merkt man, dass dadurch etwas Wesentliches fehlt, nämlich, dass man sich abseits der inhaltlichen Zusammenarbeit auch mal bei einem Kaffee unterhalten und auf direktem Wege austauschen kann. Und für ein Forschungsprojekt ist es immer sehr, sehr schlecht, wenn sich die Interaktionsmöglichkeiten dann auf einmal nur noch im virtuellen Raum abspielen. So ist es ja jetzt letztlich auch mit den Musikevents. Jeder, der Musikevents erlebt hat, vermisst sie jetzt und versteht trotz aller Innovationen: Das Virtuelle wird immer nur ein minimaler Ersatz dafür sein. Auf der anderen Seite hat Corona für unsere Forschung aber auch bedeutet, dass wir im Prinzip teilweise unsere eigenen Ergebnisse verwenden konnten und dadurch natürlich das Erlebnis von Video- und Audio-Telefonkonferenzen dann sehr intensiv genießen konnten. Das war schon sehr interessant, wie das eigene Projekt und das eigene Leben plötzlich so zum Use Case wurden.

Im LIPS-Projekt hat eine ganze Reihe von unterschiedlichen Stakeholdern über einen langen Zeitraum zusammengearbeitet. Was sind die Herausforderungen bei einem Forschungsprojekt dieser Größenordnung?

AW: Eine der wesentlichen Herausforderungen im Projektverlauf und besonders zu Beginn liegt darin, dass man erstmal eine gemeinsame Sprache finden muss, insbesondere da verschiedene Gewerke zusammengeführt werden. Wir hatten den großen Vorteil, dass das LIPS-Projekt aus einem Vorgängerprojekt hervorgegangen ist, sodass große Teile des Konsortiums sich bereits auf Arbeitsebene kannten. Nichtsdestotrotz gab es natürlich immer wieder Diskussionen über verschiedene Forschungsrichtungen, weil jeder seine gewerkeigenen Ideen naturgemäß nach vorne bringen wollte. Glücklicherweise haben wir uns alle bereits ungefähr in der Mitte des Projekts darauf verständigt, ganz gezielt in Richtung Laboruntersuchungen und Feldtests zu arbeiten. Das war fortan unsere große gemeinsame Stoßrichtung.

Was nehmen Sie aus der Zusammenarbeit mit?

AW: Für mich hat sich einmal mehr bestätigt: Forschungsprojekte wie LIPS sind ganz, ganz wichtig, um die Zusammenarbeit zwischen Industrie und Forschungseinrichtungen, zwischen verschiedenen Branchen und Gewerken, die wir jetzt zum Beispiel in der Audio- und Videoproduktion haben, zusammenzuführen. Das ist eine ganz wesentliche Funktion solcher Forschungsprojekte. Gleichzeitig macht es das Ganze unendlich spannend, zu sehen, wie diese verschiedensten Gewerke ihr technologisches Know-how sowie ihr Workflow-Know-how einbringen und gemeinsam überlegen, wie man Dinge verbessern kann. Es entsteht sozusagen ein richtiges Plattform-Denken. Das ist schön zu sehen. Man hat einerseits diesen starken Anwendungsbezug, andererseits aber auch immer den Blick in die mögliche Zukunft gerichtet. Es hat mir sehr viel Spaß gemacht, dieses Konsortium von der Definition bis zum erfolgreichen Feldtest zu unterstützen.

Die Pandemie hat der virtuellen Zusammenarbeit großen Vorschub geleistet und es gibt inzwischen viele Lösungen für digitale Meetings und vernetztes Musizieren – was ist dann das Besondere an LIPS?

AW: Es gibt tatsächlich schon Lösungen, die schon heute zum Beispiel ein Zusammenspiel von Musikern ermöglichen. Das ist allerdings noch auf einem Niveau, wo sehr viel Handarbeit vom Musiker verlangt wird – noch dazu in Bereichen, wo er eigentlich nicht zuhause ist. Er muss sich plötzlich intensiv mit IT auseinandersetzen. Es ist nicht so, dass ich einfach mein Mikro irgendwo einstecke und fertig bin ich. Man hat inzwischen sehr, sehr viele Lösungen, die im Prinzip erweiterte Videotelefonie-Lösungen darstellen, die dann aber wiederum den Nachteil mit sich bringen, dass man eine sehr, sehr hohe Varianz in dieser IT-Hardware hat. Nicht jedes Betriebssystem behandelt Audio gleich gut. Eine Videotelefonie-Lösung, wie wir sie im Alltag verwenden, hat typischerweise Latenzen im Bereich von 50 ms bis zu 200 ms, je nachdem, wo der Gesprächspartner ist. Das ist verhältnismäßig viel. Hinzu kommt, dass man in der Regel dann noch Beschränkungen im Audiodynamikumfang hat, es also ganz bewusste Einschränkungen im Bereich der Sprachqualität gibt. Ein Musiker dagegen ist sehr darauf angewiesen, dass die Latenzen nicht jittern, d.h. mal im Bereich von 10 ms liegen und dann plötzlich im Bereich von 30 ms. Dieses Hin und Her treibt einen Musiker relativ schnell in den Wahnsinn. Er oder sie braucht einen möglichst konstanten Übertragungsweg, um mit anderen Musikern zusammenzuspielen. Deswegen ist es wichtig, die Faktoren, die eine Varianz in der Audioübertragung – egal über was für ein Netzwerk und egal über was für eine Technologie – möglichst zu minimieren. Das ist einer der Gründe, warum wir uns im Konsortium entschieden haben, eine Glasfaserverbindung zu verwenden, um den Idealfall zu prüfen. Gleichzeitig konnten wir dadurch sämtliche (Stör-)Effekte gezielt hineinsimulieren, die man unter realen Bedingungen vorfinden würde. Und es wird sicherlich noch sehr viel Feldtestarbeit notwendig sein, um gerade das, was in den sogenannten Weitverkehrsnetzen üblich ist, noch besser evaluieren zu können und zu sehen, was man denn tatsächlich erwarten kann beziehungsweise worauf man sich vorbereiten muss. Denn am Schluss soll es wirklich einmal so sein, dass zum Beispiel der Musiker nur noch ein Kabel steckt und der Rest läuft von alleine.

Jetzt haben wir viel über Audio gehört – was ist denn mit dem Bereich Video?

AW: Video befindet sich a) auf einer anderen Datenrate und b) auf einer anderen Latenzebene. Das liegt im Wesentlichen an der Frame-Rate, die ein Videobild liefert. Typischerweise ist es in vielen Lösungen so, dass das Audiosignal bewusst verzögert wird, damit es zum Video passt, d.h. damit Lippensynchronität hergestellt ist. Darauf wurde im LIPS-Projekt bewusst verzichtet. Wir nehmen in Kauf, dass Video und Audio nicht zu jedem Zeitpunkt vollständig passen, dafür aber eine deutlich niedrigere Latenz auf dem Audiosignal herrscht. Denn wir haben festgestellt, dass das der signifikantere und wertvollere Vorteil für einen Musiker ist. Im Fernsehprogramm wiederum würde man natürlich nicht wollen, dass keine Lippensynchronität vorliegt.

Das bedeutet, dass Video für Musiker also eher zweitrangig ist?

AW: So ist es. Das Interessante ist: Ein Musiker ist gar nicht so sehr darauf angewiesen, seinen Mitspieler sehen zu können. Entscheidender ist, ihn optimal hören zu können. Das Video selber hilft natürlich in der nonverbalen Kommunikation, beispielsweise um Handzeichen zu geben, die vermitteln können: „Ich habe ein Problem“ oder „Ich möchte jetzt starten“. Diese Möglichkeiten sind natürlich ebenfalls wichtig. Wir haben uns dementsprechend auch sehr intensiv gemeinsam mit den Universitäten damit beschäftigt: Wie können wir so etwas wie ein globales Metronom haben, sodass die Musiker jederzeit den Takt halten können, weil sie den Taktgeber auf dem Ohr haben – ganz gleich, wo sie sind. Solche Geschichten sind im Verlaufe des Projekts ebenfalls mitentstanden.

Auch das Thema 5G spielte eine Rolle bei den Forschungen – inwiefern?

AW: Wir haben uns 5G aus verschiedenen Perspektiven angeschaut. Zum einen haben wir in Richtung Publikumsdienste geschaut. Wie können wir 5G beispielsweise bei Konzerten als Plattform nutzen, um zusätzliche Dienste für das Publikum zu generieren? Wir haben uns natürlich auch angeschaut, welche Bedeutung 5G im Bereich der drahtlosen Produktion oder der Produktion an sich zukommen könnte. Man muss dazu wissen, dass 5G immer noch zuvorderst Telefonie und Datenkommunikation sicherstellen soll und dass eine stete Herausforderung darin liegt, 5G tatsächlich an einer Örtlichkeit verfügbar zu haben, da die Abdeckung sicherlich erst noch entstehen wird.

5G wird sicherlich eine Relevanz im Hinblick darauf haben, eine Anbindung an ein Glasfasernetz zur Verfügung zu stellen zu einem Zeitpunkt, wo man selber noch ein paar Kilometer entfernt ist vom Glasfaser-Übergabepunkt. Man nennt das die sogenannte „Letzte-Meile-Anbindung“. 5G wird sicherlich an den Stellen spannend werden, wo es tatsächlich ausgerollt ist, um Publikumsdienste zu liefern. Viele Konzertbesucher filmen ein Event mit dem Smartphone oder streamen live via Instagram oder YouTube. Das ist nicht notwendigerweise eine gewünschte Nutzung des Smartphones. Wir haben geschaut: Gibt es vielleicht Dinge, für die man 5G sinnvoller nutzen kann, wie zum Beispiel das Hörerlebnis während eines Konzertes unabhängig davon zu machen, wo eine Person steht? Solche Überlegungen haben wir angestellt.

Sie haben den Abschluss-Workshop zum Projekt selbst remote verfolgt – was war das für eine Erfahrung?

AW: Ich habe den Workshop von Zuhause vom Sofa aus erlebt. Ich hatte mir dann tatsächlich Sennheiser-Kopfhörer aufgesetzt und habe mich dann über das Konzert und vor allen Dingen auch darüber gefreut, wie immersiv sich das wirklich anfühlte. Man hat richtig dieses sphärische Erlebnis gehabt – ich war vollends davon begeistert!