Kein Aprilscherz: Magic Leaps Lightwear-Brille soll sogar den Herzschlag und Zehenstupser für die Interaktion mit der Augmented-Reality-Welt berücksichtigen.

Auf der Game Developers Conference 2018 stellte Magic Leap den anwesenden Entwicklern die Interaktionsmöglichkeiten der Lightwear-Brille vor. Bei ihr stehen Körperbewegungen im Mittelpunkt: “Wir sind richtig stolz auf die vielen Möglichkeiten”, sagt Brian Schwab, der Magic Leaps Interaktionsabteilung leitet.

Allein die Kopfposition sei für die Augmented-Reality-Interaktion “eine tolle Informationsquelle”. Sie verrate viel mehr als nur die Position im Raum.

“Die Kopfposition zeigt, in welche Richtung man schaut, aber es steckt noch mehr dahinter”, sagt Schwab. Gesten wie Nicken oder Kopfschütteln würden erkannt und wenn der Brillenträger das Gestell seitlich anstupse, könne die daraus resultierende minimale Verschiebung der Kopfhaltung ebenfalls verlässlich registriert werden.

Entwickler könnten aus den Kopfbewegungen außerdem ableiten, ob der Brillenträger sitzt, steht, läuft oder rennt. “Wenn der Nutzer steht, kann man einzelne Zehenstupser auf den Boden registrieren”, verspricht Schwab. “Wir können sogar den Herzschlag aus der Kopfhaltung herausfiltern.”

Neu an Magic Leaps Eingabemethoden ist die Kombination aus Kopf- und Blickbewegungen. Bild: Magic Leap

Neu an Magic Leaps Eingabemethoden ist die Kombination aus Kopf- und Blickbewegungen. Bild: Magic Leap

Wie selbstbewusst ist der Magic-Leap-Träger?

Schwab beschreibt, wie die Kopfposition für Interaktion mit digitalen Charakteren verwendet werden könnte: “Wenn man sich zu einer Figur lehnt, kann diese das als Interesse deuten und entsprechend reagieren.”

An der Körperhaltung könne man außerdem ablesen, mit wie viel – oder wenig – Selbstvertrauen ein Mensch mit dem digitalen Inhalt interagiert. “Wir sehen Stress an der Atemgeschwindigkeit”, sagt Aleissia Laidacker, Magic Leaps Direktor für Interaktion.

Spieleentwickler könnten diese Informationen nutzen, um die Dramaturgie ihrer Software dynamisch an die Reaktionen des Brillenträgers anzupassen. Diesen Job könne auch eine Künstliche Intelligenz übernehmen, die den Spielablauf im Hintergrund steuert und die Erfahrungsintensität hebt oder senkt.

Spielkonzept: Der digitale Vogel reagiert auf die Annäherungsversuche des Brillenträgers. Bild: Magic Leap

Spielkonzept: Der digitale Vogel reagiert auf die Annäherungsversuche des Brillenträgers. Bild: Magic Leap

Mit Blickerfassung ins Unterbewusstsein

Mit dem in Magic Leap verbauten Blickerfassungssystem könnten erstmals unbewusste Nutzer-Intentionen direkt von den Augen abgelesen werden. “Zum Beispiel bewegen sich die Augen schneller, kurz bevor man eine bewusste Entscheidung trifft”, begründet Schwarz seine Annahme.

Die Blickerfassung arbeite außerdem im Einklang mit den Kopf- und Handbewegungen. Wenn man die Informationen aus allen drei Datenquellen zusammenfasse, so Schwab, könne man exakt erkennen, mit was sich der Brillenträger gerade beschäftigt. In einem virtuellen Einkaufsladen könne er so Waren bestellen wie im echten Laden, indem er sie anschaut und darauf deutet.

“Ein kleines bisschen Handtracking”

Zusätzlich zum eigenen Körper kann Magic Leap mit einem Controller mit sechs Freiheitsgraden bedient werden, wie ihn auch Highend-VR-Brillen bieten. Die Position des Controllers im Raum wird im Verhältnis zur Brillenposition bestimmt.

Schwab verrät, dass der Controller (siehe Titelbild) eine Haptik-Funktion verbaut hat, die Berührung simuliert. Zum Beispiel könne man so ein Menü fühlbar machen, das im Raum schwebt. “Es fühlt sich besser an. Der Körper erwartet diese Berührung einfach”, sagt Schwab.

Ein vollwertiges Handtracking für Magic Leaps Lightwear-Brille sollte man jedoch nicht erwarten. Die in der Brille integrierten Trackingkameras erkennen laut Schwab statische Gesten oder Wischbewegungen, aber keine fließenden Hand- und Fingereingaben.

Jetzt hat jeder Entwickler einen Einblick ins Magic-Keap-System. Gibt es etwas Neues zu entdecken? Augmented-Reality-Entwickler Tobias Kammann hat das SDK für VRODO auseinandergenommen.

Diese Handgesten erkennt die erste Magic-Leap-Brille laut Entwicklerkit. Bild: Magic Leap

Weiterlesen über Magic Leap:


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #104: Magic-Leap-Launch und KI-Persönlichkeitsanalyse | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.