[:de]

Human-Machine-Interface trifft VR-Fahrsimulation

Fahren in VR ist ein Klassiker, deshalb peppen wir das Ganze mit einigen technischen Features auf. Das Besondere? Unsere Anwendung ermöglicht sowohl autonomes als auch manuelles Fahren und das ist noch nicht alles – beim digitalen Fahrspaß kann man nicht nur mit virtuellen, sondern auch mit realen Objekten interagieren. Außerdem haben wir einen VR- und AR-Multiplayer-Mode für bis zu drei Personen.
In Kombination mit Handtracking, multiplen Sensoren und 3D-gedruckten Bauteilen macht das unseren Prototypen zu einem gelungenen Demonstrator für die Anwendung von Human-Machine-Interfaces (HMI). Bereit für eine Spritztour?

Virtuelle Probefahrt

Neben dem Fahrvergnügen selbst liegt der Fokus unserer Anwendung primär auf dem Look-And-Feel des Innenraums. Das Besondere am Interior dieser Konzeptstudie sind die Funktionen des Ambilights in verschiedenen Fahrsituationen. Aber natürlich darf auch das Raumgefühl selbst und die Interaktion mit dem Touch-Display im Cockpit nicht zu kurz kommen. All das verpacken wir in eine virtuelle Probefahrt. So machen wir diese “Besichtigung” zu einem Erlebnis, das lange in Erinnerung bleibt.

Hautnah

Um dem realen Erlebnis so nah wie möglich zu kommen, lassen wir die Fahrgäste nicht irgendwo platznehmen: Im ursprünglichen Projekt konnten wir auf ein Modell zurückgreifen, welches zur Konzepterprobung im Designprozess genutzt wird. Bei diesem werden Vorserien-Prototypen für Sitze, Cockpit und Türen, sowie Teile der Karosserie z.B. aus Kunststoff gefertigt und zusammengesetzt.

Den Luxus eines industriell gefertigten Auto-Modells hatten wir für unser Demo-Projekt jedoch nicht. Trotzdem ist es uns gelungen ein authentisches Raumgefühlt zu erzeugen und alle nötigen haptischen Interaktoren zu integrieren. Neben Lenkrad und Pedalen aus dem Gaming-Bedarf kamen die fehlenden Bauteile aus unserem 3D-Drucker. Mit etwas handwerklichem Geschick entstand so eine ausreichend realistische Nachbildung, um der VR-Experience eine echtes Realismus-Update zu geben.
In Kombination mit der verbauten Sensortechnik klappt dann auch der Schulterschluss zum Human-Machine-Interface (HMI). Das klingt nicht nur fancy, das ist es auch! Und so gehts: Wenn man in VR nach dem Türgriff greift, tappt die Hand nicht ins Leere sonders findet auch physisch einen entsprechenden Griff, der dank Sensoren auch virtuell die Autotür öffnet. Damit man für solche Features die Hände frei hat, verzichten wir auf Controller und setzen auf Handtracking. Hierfür haben wir das LeapMotion System in die Anwendung integriert und tracken so punktgenau die Bewegung der Hände.

Drive Through

Höchste Zeit, mal eine Runde durch unsere Anwendung zu drehen! Wir starten in der Tiefgarage, so kann das parkende Auto in aller Ruhe von außen betrachtet werden und Details wie die Scheinwerferlicht-Animation der Fahrzeugbegrüßung bestaunt werden. Nach dem Einsteigen kann auch der Innenraum mit all seinen Details ausgiebig erkundet werden. Hierzu zählt vor allem das virtuelle Touchdisplay des Bordcomputers, welches über zahlreiche Funktionen wie Sound- und Navigationssystem verfügt. Das besondere daran ist das haptische Feedback, denn wenn man in VR das Display bedient, berührt auch in der realen Welt die Hand das 3D-gedruckte Modell des Bordcomputers.

Sobald das Auto gestartet wird, führt eine freundliche Stimme durch die nächsten Stepps und schon rollt man dank Autopilot wie von selbst raus auf die Straßen der nächtlichen Großstadt. So kann man ganz entspannt aus dem Fenster schauen und das Big-City-Life auf sich wirken lassen oder das interaktive Lichtsystem bestaunen. Zumindest so lange, bis ein ausparkendes Auto den Weg kreuzt und man nach erfolgreichem Ausweichmanöver selbst das Steuer übernehmen kann. So lässt man sich zu einer freien Parklücke navigieren, wo das Auto selbstständig einparkt und das bekannte “Sie haben ihr Ziel erreicht” erklingt.

Multi-Mediales Multi-User Set up

Alleine fahren ist nur halb so schön, daher bietet unsere Anwendung auch die Option, einen Beifahrenden mit an Bord zu nehmen. Somit haben wir zwei Passagiere mit jeweils einer VR-Brille, die in unserem Modell platznehmen können.
Zusätzlich kann noch eine weitere Person an der Experience teilzunehmen: Als externe*r Beobachter*in kann diese Person mittels AR über ein IPad ebenfalls in die Startsequenz im Parkhaus eintauchen, das Fahrzeug samt Interior eigenständig erkunden und den beiden VR-Protagonist*innen über ihre virtuellen Schultern schauen.
Das klingt cool, aber auch nach viel technischem Aufwand? Das ist es auch! Für all das braucht es ein ausgeklügeltes System aus aufeinander abgestimmtem Tracking, mehreren PCs, die alles synchronisieren und einer stabilen wireless Netzwerkverbindung.
Also nichts was uns von der Umsetzung dieser immersiven Experience abhalten kann

[:en]

Human-machine interface meets VR driving simulation

Driving in VR is a classic, which is why we’re spicing things up with a few technical features. What makes it special? Our application enables both autonomous and manual driving, and that’s not all – you can interact not only with virtual objects but also with real ones while having digital driving fun. We also have a VR and AR multiplayer mode for up to three people.
In combination with hand tracking, multiple sensors and 3D-printed components, this makes our prototype a successful demonstrator for the application of human-machine interfaces (HMI). Ready for a spin?

Virtual test drive

In addition to the driving pleasure itself, the focus of our application is primarily on the look and feel of the interior. What makes the interior of this concept study so special are the functions of the Ambilight in various driving situations. But of course the feeling of space itself and the interaction with the touch display in the cockpit should not be neglected. We pack all of this into a virtual test drive. In this way, we turn this „tour“ into an experience that will be remembered for a long time.

Close up

To get as close as possible to the real experience, we don’t let the passengers sit anywhere: In the original project, we were able to draw on a model that is used for concept testing in the design process. Pre-series prototypes for seats, cockpit and doors, as well as parts of the bodywork, e.g. made of plastic, are manufactured and assembled.

However, we did not have the luxury of an industrially produced car model for our demo project. Nevertheless, we succeeded in creating an authentic sense of space and integrating all the necessary haptic interactors. In addition to the steering wheel and pedals from gaming supplies, the missing components came from our 3D printer. With a little craftsmanship, a sufficiently realistic replica was created to give the VR experience a real update in realism.

In combination with the built-in sensor technology, the human-machine interface (HMI) also works well. That doesn’t just sound fancy, it is! And this is how it works: When you reach for the door handle in VR, your hand doesn’t grope in the void but also physically finds a corresponding handle which, thanks to sensors, also virtually opens the car door. To keep your hands free for such features, we do without controllers and rely on hand tracking. For this purpose, we have integrated the LeapMotion system into the application and track the movement of the hands with pinpoint accuracy.

Drive Through

High time to take a tour of our application! We start in the underground parking garage, so we can take our time to look at the parked car from the outside and marvel at details such as the headlight animation of the vehicle welcome. After getting in, the interior with all its details can also be explored at length. This includes, above all, the virtual touch display of the on-board computer, which has numerous functions such as the sound and navigation system. The special thing about it is the haptic feedback, because when you operate the display in VR, your hand also touches the 3D-printed model of the on-board computer in the real world.

As soon as the car is started, a friendly voice guides you through the next steps and, thanks to the autopilot, you roll out onto the streets of the big city at night as if by magic. You can relax and look out of the window and take in the big city life or marvel at the interactive lighting system. At least until a parked car crosses your path and you can take the wheel yourself after a successful evasive maneuver. You can then be navigated to a free parking space, where the car parks itself and the familiar „You have reached your destination“ can be heard.

Multi-media multi-user set-up

Driving alone is only half as nice, which is why our application also offers the option of taking a passenger on board. This means we have two passengers, each with VR goggles, who can take a seat in our model.
Another person can also take part in the experience: As an external observer, this person can also immerse themselves in the start sequence in the parking garage using AR via an iPad, explore the vehicle and its interior independently and look over the virtual shoulders of the two VR protagonists.
Sounds cool, but also like a lot of technical effort? It really is! All of this requires a sophisticated system of coordinated tracking, several PCs that synchronize everything and a stable wireless network connection.
So nothing can stop us from creating this immersive experience

[:]