Forschung

Das ToHyVE-Projekt ist in 10 Arbeitspaketen (AP) organisiert. Die eigentlichen Forschungs- und Entwicklungsarbeiten werden in den AP3 bis AP9 durchgeführt. Daneben gibt es Arbeitspakete zur Projektkoordination (AP1), zur Anforderungsspezifikation (AP2) und zum Transfer der Ergebnisse in Wirtschaft und Gesellschaft (AP10).

Die durch die COVID-19-Krise ausgelösten Veränderungen im Bereich der geschäftlichen Kommunikation werden nachhaltig sein. Auch in Zukunft wird ein Großteil der Besprechungen online oder zumindest hybrid (physisch + online) ablaufen, wodurch viele Reisen und Kosten eingespart werden können. Jedoch gehen bei online-Formaten wichtige Teile der zwischenmenschlichen Kommunikation verloren. Deshalb muss die Qualität von Telepräsenzverfahren und von hybriden Veranstaltungsformaten hinsichtlich Immersion und Datenschutz noch erheblich verbessert werden, um eine breite Akzeptanz zu finden. Aus diesen Gründen ist es Ziel des Vorhabens, eine Toolbox zu entwickeln, die eine Vielzahl von hybriden Veranstaltungsformaten unter Berücksichtigung des Datenschutzes bedienen kann. Hierzu werden insbesondere neue Verfahren der 3D-Video- und 3D-Audioverarbeitung erarbeitet sowie Umsetzungsoptionen von technischen Maßnahmen zur Sicherung von Datenschutz und Privatsphäre unter Berücksichtigung des gesetzlichen Rahmens und deren Implementierung untersucht. Insbesondere sollen u.a. hybride Anwendungen wie Führungen durch Showrooms, Paneldiskussionen, Networking und Exponatspräsentationen unterstützt werden.

AP3:
Hybride Event-Plattform

Ziel der Arbeiten in diesem Arbeitspaket sind die Konzeption und der Entwurf eines offenen Ökosystems von möglichst übergangslos miteinander verknüpften hybriden Event-Plattformen und querschnittlich nutzbaren Technologien und Werkzeugen für hybride Veranstaltungen. Dazu sollen innovative, hybride, immersive Repräsentations-, Interaktions-, und Inszenierungsformate auf Basis dieser Plattformen und Werkzeuge entwickelt werden. Durch einen skalierbaren Ansatz soll eine hohe Reichweite und ein niederschwelliger Zugang auf unterschiedlichen Endgeräten erreicht werden. Dabei sind die Usability, die User Experience und die Gewährleistung von Datensicherheit und Datenschutz wichtige Faktoren.

Die Verschmelzung von hoch immersiven virtuellen 3D-und XR-Umgebungen mit realen Umgebungen ermöglicht eine Vielzahl von hybriden Veranstaltungs- und Produktivformaten mit innovativem Erlebniswert und neuen Interaktionsqualitäten. Hier können sich physisch situierte und virtuelle Teilnehmer über Extended-Reality-Technologie in 3D-Umgebungen begegnen, gegenseitig über verschiedene kontextabhängige Avatardarstellungen wahrnehmen und über dimensionsübergreifende Modalitäten und Schnittstellen interagieren. Sie können in Cyberphysischen Systemen durch gemeinsame Aktivitäten an Digitalen Zwillingen kollaborieren und werden von Sozialen KI-Agenten dabei begleitet. Diese Möglichkeiten eröffnen ein Feld an innovativen, hybriden Begegnungs- und Partizipationsformaten, Trainings- und Schulungskonzepten, sowie Ausstellungs-, Kollaborations- und Co-Kreationsumgebungen.”

AP4:
Erfassung und Repräsentation der realen Szene und der Teilnehmer

Ziel des Arbeitspaketes ist die Erfassung realer Szenen der Präsenzveranstaltung sowie der Präsenz- und Remote-Teilnehmer inkl. deren Verortung. Dabei soll deren audiovisuelle Dar-stellung in möglichst natürlicher Weise erfolgen, wobei der Fokus auf der Vermittlung von Elementen der non-verbalen Kommunikation (Gesten, Blickkontakt, Körperhaltung) liegt. Dazu werden unterschiedliche Sensor- und Kamerasysteme aufgebaut und erprobt und es werden KI-Verfahren zur Erfassung des situativen Kontextes entwickelt.

Die 3D-Erfassung der realen Umgebungen und speziell der Teilnehmer einer Veranstaltung in natürlicher Weise bildet die Grundlage für ein immersives Erleben der Veranstaltung durch Remote-Teilnehmer. Es sollen Technologien entwickelt werden, die die Barrieren konventioneller Videokoferenzsysteme überwinden.

AP5:
Darstellung der virtuellen Szene und der Teilnehmer

Ziel des AP5 ist die Entwicklung von Methoden und Systemen zur möglichst realistischen Darstellung der Situation und der Personen am Veranstaltungsort in einer virtuellen Umgebung, sowie die Repräsentation der virtuellen Teilnehmer in der Präsenzveranstaltung unter Verwendung der Ergebnisse aus AP4. Hierzu gehört die Entwicklung einer Web-basierten Plattform zur niederschwelligen Partizipation auch mit geringer technischer Ausstattung und geringer Internet-Bandbreite (z.B. mobil) sowie einer virtuellen 3D Plattform als High-end-Technologie zur hoch-immersiven Möglichkeit der Partizipation.
Zusätzlich werden Methoden zu Display- und Lautsprecheranordnungen, realistischen Fusion von realen und virtuellen Inhalten, zur kohärenten Darstellung der auditiven und visuellen Komponenten entwickelt sowie innovative Exponatsformate konzipiert.

Zusammen erschaffen wir ein Ökosystem für hybride Formate – von der Konzeption bis zur Entwicklung einer Toolbox zur Entwicklung von Lösungen für die Organisation und Durchführung von und die Partizipation an digital-realen Veranstaltungen und anderen kollaborativen Szenarien.

AP6:
Multimodale Interaktion

Das Ziel des AP6 ist es, die Reaktionen von Zuhörern und Zuschauern während einer Veranstaltung zu verfolgen, indem sprachübergreifende Konzept- und Relationstypen durch Echtzeit-Sprachverarbeitung und Informationen aus sozialen Netzwerken erkannt werden. Durch die Erkennung von relevanten Entitäten und Beziehungen können unstrukturierte Informationen strukturiert und für weitere Verwendungen persistiert werden. Zusätzlich soll eine aspektorientierte Sentimentanalyse eingesetzt werden, um die Stimmung im Bezug auf bestimmte Themen während der Veranstaltung zu erfassen. Mit Verfahren zur automatischen Spracherkennung und maschinellen Übersetzung begegnen wir den Aufgabenstellungen Multimodalität und Multilingualität. Im Ergebnis ermöglichen wir dem Publikum während der Veranstaltung zu agieren und den Veranstaltern, aus dem Input zu lernen und zu reagieren. Die strukturierten Textinformationen dienen auch als Wissensbasis für einen multimodalen konversationellen Concierge, einen Event-Chatbot, der Nutzern als Benutzerschnittstelle für Echtzeit-Informationen und Social Media Ressourcen dient. Der Concierge wurde mit einem nutzerzentrierten Designansatz entwickelt und kann für verschiedene Szenarien wie Ticketkauf, Registrierung und Feedback genutzt werden.

Mit dem Einsatz zielgerichteter Sprachtechnologien erfassen wir im AP6 Stimmungen und Meinungen. Dadurch verleihen wir dem sonst eher stummen Publikum die Möglichkeit, unter anderem über unseren virtuellen Concierge mit den Akteuren der Veranstaltung zu kommunizieren. Umgekehrt erlaubt der virtuelle Concierge, das Publikum barrierefrei - multimodal und multilingual - mit wichtigen Informationen zu versorgen.”

AP7:
Streaming Tools

Ziel dieses Arbeitspakets ist die Bereitstellung von Tools, Protokollen, APIs und Modulen für Live-Streaming mit niedrigen Latenzen (low latency) für die Integration in interaktive hybride Umgebungen. Dazu sollen Audio- und 2D-Video-Streaming-Verfahren weiterentwickelt, 3D Audio- und Video-Streaming-Verfahren definiert und diese Verfahren dann implementiert werden. Ein Augenmerkt liegt auch im Deployment in Cloud-Umgebungen für die weltweite Nutzung mit Untersuchung der dazu nützlichen Technologien wie Edge Cloud Processing, um Echtzeitanforderungen zu erfüllen und zum Offloading von Rechenkapazität, um Endgeräte mit begrenzter Rechenleistung nutzen zu können.

Ultra-Low-Latency Live Streaming mit sehr niedrigen Latenzen stellen eine große Herausforderung für den nahtlosen Einsatz weltweit auf beliebigen Endgeräten dar, dafür sind innovative Tools und Protokolle notwendig und Schnittstellen, die die Integration in interaktive Anwendungen einfach machen”

AP8:
Security und Privacy

Ziel dieses Arbeitspakets ist es, geeignete Maßnahmen zu identifizieren und umzusetzen, die sowohl Sicherheit als auch Privatsphäre und Datenschutz unter Berücksichtigung des gesetzlichen Rahmens gewährleisten sowie deren Implementierung. Die Einführung von Plattformen für hybride Veranstaltungen von der Spezifikationsphase bis hin zum implementierten Demonstrator wird durch Experten für Datensicherheit und Privatsphäre begleitet, um die Anforderungen an Datenschutz, Datensicherheit und Schutz der Persönlichkeitsrechte technisch im System zu verankern. Dabei sind insbesondere DSGVO-Anforderungen sowie Risiken für die Privatsphäre, wie beispielsweise Identifizierbarkeit relevant. Es werden konkret innovative technische Maßnahmen zur Ende-zu-Ende-Sicherheit umgesetzt, worunter wir konsequente Verschlüsselung nach dem Stand der Technik mit Zertifikaten aus einem akkreditierten Trust Center verstehen sowie die harte kryptographische Absicherung der Verarbeitung von Daten in der Cloud.

Wo bei einer herkömmlichen Veranstaltung das persönliche Miteinander zu Vertrauen und Sicherheit führt, müssen bei einem hybriden Veranstaltungsformat technische Mittel diese Aspekte der persönlichen Kommunikation sicherstellen. Im ToHyVe-Projekt möchten wir durch die konsequente Integration von Sicherheits-Know-how und -Technologien von der Architektur bis hin zur technischen Umsetzung in den Demonstratoren ein Niveau von Privatsphäre und Vertraulichkeit erreichen wie bei einem physischen Treffen vor Ort.”

AP9:
Demonstratoren und Evaluierung

Das Arbeitspaket (AP9) hat das Ziel, die entwickelten Technologien in Demonstratoren für die Anwendungsszenarien der Industriepartner und des Forums Digitaler Technologien zu integrieren. Es beinhaltet auch die Evaluation von Teilkomponenten und eine summative Evaluation bei der Anwendung eines Veranstaltungsformats. Der Lösungsweg umfasst die Systemintegration, den Aufbau der Demonstratoren und die technische Evaluierung und Systemoptimierung. Das Ergebnis sind lauffähige Demonstratoren, Nutzerfeedback zu Handling und Nutzungserleben und ein Transfer in die technische Entwicklung.

ToHyVe strebt an, die Präsentation von Museums- und Exponatinhalten durch die Verschmelzung von realen und virtuellen Welten zu verbessern. Wir arbeiten daran, hybrid-immersive XR-Kollaborationswelten zu schaffen, in denen die Besucher voll- und teil-immersiv in die Exponate eintauchen und interagieren können, was ein völlig neues Erlebnis von Museen und Exponaten ermöglicht. Durch die Verifizierung und Validierung der Nutzererfahrung wird sichergestellt, dass die Präsentation der Inhalte die Erwartungen der Besucher erfüllt und ihre Erfahrungen maximiert werden. Wir arbeiten auch an innovativen Lösungen in den Bereichen Szenen- und Teilnehmererfassung und Virtualisierung, um eine immersives Erleben und Interaktion mit den Exponaten zu ermöglichen.”