Die eigenen Hände sind in Virtual Reality das natürlichste Interface, 3D-Controller ein praktisches Werkzeug. Das US-Startup Perceptive IO kombiniert das Beste aus beiden Welten und macht aus der Hand einen Controller.

Digility 2018

Grundlage für das neue Interface ist ein sehr schnelles, präzises und robustes Verfahren für die Hand- und Fingererkennung. Die Entwickler geben an, dass das komplette System mit bis zu 1000 Bildern pro Sekunde laufen kann bei einer sehr geringen Latenz. Das Tracking der Hände und Finger übernimmt eine Tiefenkamera.

Laut den Entwicklern – und so wird es im Video unter dem Artikel demonstriert – werden selbst feinste Fingerbewegungen ohne sichtbare Verzögerung erfasst. Das System erkennt die linke und rechte Hand einzeln und kann sie auch bei komplexen Handstellungen verlässlich auseinanderhalten. Dabei unterstützt ein künstliches neuronales Netz, das zuvor mit 3D-Daten von Händen trainiert wurde, die miteinander und mit Objekten interagieren. Selbst wenn sich die Hände oder Finger gegenseitig berühren und verdecken, soll das Tracking ohne Aussetzer laufen.

Der Handcontroller der nächsten Generation ist … die Hand?

Neben dem schnellen Hand- und Fingertracking arbeitet Perceptive IO an einer zweiten, interessanten Funktion, die sich besonders für Virtual Reality anbietet: Das Trackingsystem kann auf den Händen bis zu 29 Bereiche erfassen, die dann zu einem interaktiven Eingabegerät umfunktioniert werden.

So wird beispielsweise aus der Handfläche ein Touchpad oder aus dem Zeigefinger ein Schieberegler. Der Vorteil dabei ist das haptische Feedback am eigenen Körper, das fehlt, wenn man mit den Fingern einfach nur in die Luft zeichnen würde. Ergänzend können Gesten als Eingabeschema verwendet werden.

Bei Perceptive IO arbeiten unter anderem ehemalige Microsoft-Forscher, die hinter der beeindruckenden Videotechnologie Fusion 4D stecken, einem 3D-Videosystem, mit dem Menschen in Echtzeit wie Hologramme gefilmt werden können.

articulated distance fields for ultra fast tracking of hands i…

ULTRA fast hand tracking for desktop and VR interaction

Posted by Human-Computer Interaction – HCI Research on Donnerstag, 30. November 2017

| Featured Image: Perceptive IO

Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #109: Magic Leap im Test und VR-Hype-Zyklus | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.