[:de]

Hierfür nutzen wir KI zur Echtzeit-Übersetzung von Spracheingabe und KI-basierte Trainingspartner*innen für die Simulation einer realistischen menschlichen Interaktion. So ermöglichen wir mit virtuellen Mitspieler*innen die Durchführung von Mehr-Personen-Workflows, auch wenn gerade keine zweite Person verfügbar ist. Damit wollen wir VR-Trainings auf ein neues Level haben und sorgen für eine noch interaktivere Lernerfahrung.
Klingt anspruchsvoll? Das ist es auch! Deshalb gehen wir dieses ambitionierte Projekt mit dem Namen AIXTRA auch nicht allein an…

Multiplayer Mode on

Wir freuen uns sehr mit MindPort ein kompetentes Partnerunternehmen an unserer Seite zu haben. Sie stehen hinter dem Open-Source Unity-Plugin VR Builder – Ein echter Gamechanger für die Entwicklung von VR-Anwendungen und ein gern gesehenes Tool bei der Entwicklung unserer VR-Trainings.

Gemeinsam hat unser Firmen- Konsortium den Open Call der europäischen Initiative VOXReality gewonnen. Diese Projektförderung setzt sich für Natural Language Processing (NLP) und Computer Vision (CV) im XR-Bereich ein. Hierfür entwickelt sie beispielsweise ein KI-Modell mit visuellem Verständnis, die auf die Umgebung der Nutzer*innen eingehen kann.
Unser Projekt AIXTRA soll als Praxis-Use-Cases demonstrieren, wo diese Technologien genutzt werden können und was sie dabei für Mehrwert bieten.

Core Features

Unser Projekt hat dabei zwei Ziele – die Sprachbarriere in virtual Reality zu überwinden und mit KI-basierten Mitspieler*innen VR-Trainings zu revolutioniert! Hierum gehts im Detail:
Echtzeitübersetzung – Dank KI-basierter Übersetzungstools können wir zukünftig die Kommunikation in VR-Schulungen in verschiedensten Sprachen ermöglichen. Mittels Echtzeitübersetzung können so mehrere Trainingsteilnehmende in ihren jeweiligen Muttersprachen miteinander kommunizieren. Damit sorgen wir nicht nur für eine extra Portion Inklusion, sondern erleichtern gerade bei komplexen Anwendungen das Verständnis erheblich.
KI-basierte virtuelle Trainingspartner*innen – Kein Trainingsbuddy verfügbar? Kein Problem! Mittels künstlicher Intelligenz und Intent-Recognition simulieren wir realistisch die Interaktion mit menschlichen Mitspieler*innen. So kann man zukünftig auch alleine in interaktive Trainingswelten eintauchen und das Medium noch besser für die Simulation komplexer Prozesse in Multi-Player-Szenarien nutzen.

Step by Step

Wir nehmen euch mit bei unserer Journey hin zu virtuellen Sparringspartner*innen. Weitere Details zum Projekt finden sich zeitnah auf dieser Seite oder unserem YouTube-Kanal. Das Projekt läuft noch bis Herbst 2025 – bis dahin freuen wir uns auf viele technische Updates und eine gute Zusammenarbeit mit allen Partner* und Förder*innen. Außerdem wird es zum Abschluss auch eine Nutzungsstudie geben, für welche wir zeitnah noch Proband*innen suchen. Wer Interesse hat, darf sich gerne melden

Supporter – Hier fördert die EU

Von der Europäischen Union finanziert. Die geäußerten Ansichten und Meinungen entsprechen jedoch ausschließlich denen des Autors bzw. der Autoren und spiegeln nicht zwingend die der Europäischen Union oder der Europäischen Exekutivagentur für Bildung und Kultur (EACEA) wider. Weder die Europäische Union noch die EACEA können dafür verantwortlich gemacht werden.

[:en]

Join us on our journey to becoming a virtual sparring partner 🥊

To do this, we use AI to translate voice input in real time and AI-based training partners to simulate realistic human interaction. This allows us to create multi-person workflows with virtual teammates, even if no additional person is available. We want to take VR training to a new level and provide an even more interactive learning experience.
Sounds challenging? It is! That’s why we’re not tackling this ambitious project called AIXTRA alone…

Multiplayer Mode on

We are pleased to have MindPort as a competent partner company at our side. They stand behind the open source Unity plugin VR Builder – a real game changer for the development of VR applications and a valued tool in the development of our VR training courses.

Together, our company consortium has won the Open Call of the European VOXReality initiative. This project funding programme is committed to natural language processing (NLP) and computer vision (CV) in the XR sector. For example, it is developing an AI model with visual understanding that can respond to the user’s environment.
Our AIXTRA project is intended as a practical use case to demonstrate where these technologies can be used and what added value they offer.

Core Features

Our project has two main goals – to overcome the language barrier in virtual reality and to revolutionise VR training with AI-based co-players! Here are the details:
Real-time translation – Thanks to AI-based translation tools, we will be able to realise communication in VR training courses in a wide variety of languages in the future. Using real-time translation, several training participants can communicate with each other in their respective native languages. This not only provides an extra dose of inclusion, but also makes it much easier to understand complex applications in particular.
AI-based virtual training partners – No training buddy available? No problem! We use artificial intelligence and intent recognition to realistically simulate interaction with human players. This means you can immerse yourself alone in interactive training scenarios and improve the use of the medium for simulating complex processes in multi-player scenarios.

Step by step

We take you with us on our journey to creating virtual sparring partners. Further details about the project will be available soon on this page or on our YouTube channel. The project will run until autumn 2025 – by then we look forward to many technical updates and good cooperation with all partners and sponsors. There will also be a utilisation study at the end of the project, for which we are currently looking for test subjects. Please get in touch if you are interested

Supporter – Funding from the EU

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or the European Education and Culture Executive Agency (EACEA). Neither the European Union nor EACEA can be held responsible for them.

[:]