Auf der Oculus Connect trat wie jedes Jahr Michael Abrash auf die Bühne, um über die Zukunft der Computer zu sprechen. Wenn sie jemand kennt, dann der Leiter von Facebooks VR- und AR-Forschungslaboren. Dieses Jahr aktualisierte Abrash seine VR-Prognosen aus dem Jahr 2016. Was hat sich in den letzten zwei Jahren in der Forschung getan? Und was bedeutet das für die Entwicklung von Virtual und Augmented Reality?

Abrash gibt sich zuversichtlich: In einer nicht allzu fernen Zukunft sollen Virtual und Augmented Reality verschmelzen und die 2D-Interfaces heutiger Computer ersetzen. Die hierzu benötigte Technologie existiere zwar noch nicht. Das werde sich jedoch in den kommenden Jahren ändern, versichert der Leiter von Facebooks Realitätslaboren.

Auf seine zwei Jahre zurückliegenden Voraussagen zur Entwicklung von Virtual Reality zurückblickend, stellt Abrash zwei Dinge fest.

Erstens: Die damals beschriebene Technologie werde für die volle Marktreife wahrscheinlich ein Jahr länger als erwartet brauchen, also erst 2022 Endverbraucher erreichen.

Zweitens: In einigen Teilbereichen schreite die Entwicklung wesentlich schneller voran, als er es vor zwei Jahren erwartete.

VR und AR entwickeln sich (noch) getrennt

Abrashs Team forscht seit zwei Jahren verstärkt an Augmented Reality und entwickelt dafür unter anderem eigene Augmented-Reality-Displays. Aus dieser Arbeit hätten sich für ihn zwei wichtige Erkenntnisse ergeben.

Die erste lautet, dass Virtual und Augmented Reality in Zukunft ein- und dieselbe Displaytechnologie nutzen werden. Dass sie sich derzeit getrennt voneinander entwickeln, liege daran, dass man bei Virtual Reality auf die technisch naheliegendste Displaytechnologie setze: Smartphone-Bildschirme, die als fertige Bauteile vorliegen.

VR-Brillen der Zukunft werden AR-Displays nutzen

Für Augmented Reality könne man keine fertigen Displays kaufen, weshalb Facebook eigene entwickele. Das sorgt für Abrashs zweite große Erkenntnis: Virtual Reality soll sich dank Augmented Reality wesentlich schneller entwickeln. VR-Brillen würden in Zukunft Displays nutzen, die für Augmented Reality entwickelt wurden.

Abrash sagt voraus, dass die beiden Technologien in den nächsten zehn Jahren zusammenwachsen werden. Das werde zunächst in Form von VR-Brillen geschehen, die Videostream-Mixed-Reality unterstützen. Die ersten, großen Durchbrüche dieser Technologie erwartet Abrash bereits in vier bis fünf Jahren.

Solche Videostream-Brillen würden für lange Zeit die höchste Mixed-Reality-Qualität bieten. Der Grund: Der Brillenträger habe volle Kontrolle über jeden Pixel.

OC5_Abrash_5

Eine solche Brille gibt Abrash als fernes, aber realistisches Ziel aus. BILD: Oculus (Screenshot)

Oculus-Rift-2-Prototyp “Half-Dome” ist noch nicht perfekt

Abrash traf vor zwei Jahren drei Voraussagen zu Virtual Reality: 2021 sollen VR-Brillen existieren, die mit 4K pro Auge auflösen, ein Sichtfeld von 140 Grad bieten und variable Fokusebenen unterstützen.

Die Entwicklung sei schneller vorangeschritten, als erwartet: Der im Mai enthüllte Half-Dome-Prototyp habe diese Versprechen im Grunde bereits eingelöst – bis auf die Auflösung der Displays, was jedoch keine große Hürde darstelle.

Auf mehreren Gebieten habe es unerwartete Fortschritte gegeben: Für das in Half-Dome verbaute Multifokus-Display habe sein Team einen KI-gestützten Renderer entwickelt, der Schärfen und Unschärfen korrekt darstellt.

Die Technologie hört auf den Namen “Deep Focus” und soll bald veröffentlicht werden, sodass Entwickler mit ihr experimentieren können.

OC5_Abrash_2

Deepfocus stellt das Bild dank KI korrekt scharf, abhängig davon, wo man hinschaut. BILD: Oculus (Screenshot)

Neue Linsen ermöglichen 200-Grad-Sichtfeld

Eine weitere, spannende Entwicklung gibt es bei Linsentechnologien: Sogenannte Pancake-Linsen könnten Fresnel-Linsen ersetzen.

Diese neuartigen Linsen können entweder ein sehr hohes Sichtfeld von bis zu 200 Grad oder einen sehr kompakten Brillenformfaktor ermöglichen. Der Vorteil in beiden Fällen ist das schärfere Bild: Mithilfe entsprechender Displays könnten Optiken mit Retina-Auflösung konstruiert werden.

OC5_Abrash_3

Pancake-Linsen: Entweder ein großes Sichtfeld oder ein kompakter Formfaktor – beides ist möglich. Beides zugleich geht allerdings nicht. BILD: Oculus (Screenshot)

Eine noch vielversprechendere Technologie seien Wellenleiter-Displays. Sie sind zum Beispiel in Hololens oder Magic Leap verbaut.

Wellenleiter-Displays könnten laut Abrash Mixed-Reality-Brillen mit dem Formfaktor einer Sonnenbrille ermöglichen. Abrash zeigte das Konzeptbild einer solchen Brille (siehe oben).

Interessantes Detail: Bei der potenziellen Sichtfeldweite von Wellenleiter-Displays steht auf der Folie 200 Grad. Hololens und Magic Leap schaffen im Optimalfall ein horizontales Sichtfeld von circa 40 Grad.

OC5_Abrash_6

Pancake-Linsen könnten wiederum durch Wellenleiterdisplays ersetzt werden. Bild: Oculus (Screenshot)

Künstliche Intelligenz hilft beim Foveated Rendering

Gut funktionierendes Foveated Rendering werde ein Jahr länger brauchen, als vor zwei Jahren geschätzt. Bei dem Renderverfahren werden nur die Bildinhalte im Fokuspunkt des Brillenträgers detailliert und in maximaler Auflösung berechnet. Im peripheren Sichtfeld reichen weniger Details mit geringerer Schärfe.

Auch hier helfe KI-Technologie, indem sie die Bildbereiche passend ergänze, die vom Auge nicht fokussiert werden. Das Ergebnis: Die benötigte Auflösung kann um den Faktor 20 reduziert werden, was enorm viel Rechenleistung spart.

Eye-Tracking-Technologie war für Abrash vor zwei Jahren einer der problematischeren Baustellen der Virtual Reality. Zwei Jahre später schätzt er sie noch immer als “risikoreich” ein: Es würde noch vier statt drei Jahre dauern, bis sie wirklich marktreif sei und für alle Augentypen funktioniere.

Der große VR-Sprung kommt 2022

Gegen Ende seines Vortrags kam Abrash auf “virtuelle Menschen” zu sprechen. Damit meint der Forschungsleiter digitalisierte Menschen, die von echten nicht mehr zu unterscheiden sind: eine Grundlagentechnologie für glaubhafte Social-VR.

Abrash bleibt bei seiner Voraussage, dass man in fünf Jahren wahrscheinlich noch nicht so weit sein werde, diese sehr realistischen Avatare darzustellen.

Die Menschen-Scanning-Technologie habe aber dennoch große Fortschritte gemacht, sagt Abrash. Als Beweis zeigt er ein kurzes Video eines aufwendig digitalisierten Menschen: Die digitale Kopie ist vom Original praktisch nicht zu unterscheiden.

OC5_Abrash_4

Links das Kamerabild, rechts die digitale Kopie. BILD: Oculus (Screenshot)

Mixed-Reality-Technologie entwickle sich wie erwartet und gewünscht, sagt Abrash zum Ende seines Vortrags. Einige Technologien bräuchten etwas mehr Zeit, andere wiederum entwickelten sich schneller als gedacht.

In vier Jahren, so Abrash, werde Virtual Reality den nächsten, großen Schritt tun. Virtuelle Menschen und haptische Handschuhe, die die Virtual Reality fühlbar machen, seien dann nicht mehr allzu weit entfernt.

Das folgende Youtube-Video zeigt Abrashs Vortrag.


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #111: Astrobot, VR-Isolation und Quest-Zielgruppe | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.