Spiegel sind blöd – wenn man ein Ingenieur für VR und AR ist. Facebooks Reality Labs sucht nach einer Lösung, um Räume mit Spiegeln korrekt als 3D-Modell zu erfassen. Und hat sie offenbar gefunden.

Spiegel spiegeln. Das ist gut, wenn man sein Spiegelbild sehen möchte. Blöd, wenn man den Raum, in dem sich der Spiegel befindet, dreidimensional einscannen und virtuell erlebbar machen möchte. Denn gängige 3D-Scan-Systeme scheitern am Spiegelbild.

Anstatt den Spiegel samt Spiegelbild einzuscannen, rekonstruieren sie das im Spiegel sichtbare Bild hinter dem Spiegel. Sie sehen die Spiegelwelt und versuchen sie nachzubauen.

Facebook-Forscher stellen jetzt eine Scan-Methode vor, die nicht auf das Spiegelbild hereinfällt. Stattdessen erkennt es die Spiegelung als solche und kann den Spiegel samt Spiegelbild korrekt modellieren. Das funktioniert auch für reflektierende Glasoberflächen.

Die Forscher brachten dafür an der 3D-Scanning-Kamera eine zusätzliche visuelle Markierung an, die sich beim Scanvorgang mitspiegelt. Ein Algorithmus erkennt diese Markierung und kann anhand ihrer Bewegungen, ihres Abstands zum Spiegel und weiterer Bildparameter die spiegelnde Oberfläche und die Form des Spiegels rekonstruieren.

Eine "traditionelle" 3D-Scanning-Kamera mit zusätzlicher Spiegelmarkierung (April Tag). Bild: Facebook

Eine “traditionelle” 3D-Scanning-Kamera mit zusätzlicher Spiegelmarkierung (April Tag). Bild: Facebook

In einem abschließenden Schritt werden die fehlerhaften 3D-Daten hinter dem Spiegel entfernt und stattdessen korrekt auf die 2D-Spiegelfläche gelegt. Mit den Daten der rekonstruierten Spiegelungen kann sogar die Präzision des 3D-Modells des gesamten Raumes verbessert werden.

Doppelreflexionen – also ein Spiegelbild in einem anderen Spiegel – werden ebenso korrekt dargestellt. Auch Spiegelungen von digitalen Objekten und Effekten können in die Szene eingerechnet werden.

Der reale Spiegeleffekt kann auch auf digitale Objekte angewandt werden. Bild: Facebook

Der reale Spiegeleffekt kann auch auf digitale Objekte angewandt werden. Bild: Facebook

Laut der Facebook-Forscher bringt die eigene Arbeit 3D-Scanning-Verfahren “signifikant” voran und löst eines der ältesten Probleme bei der 3D-Rekonstruktion von Räumen. Bislang seien Spiegel weitgehend vermieden oder ignoriert worden.

Ein deutscher Forscher war ebenfalls am Projekt beteiligt: Michael Goesele, Gastprofessor von der TU Darmstadt, spezialisiert auf die Digitalisierung realer Räume und Objekte.

Weiterlesen über 3D-Scanning:


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #120: Cebit-Erinnerungen, Duplex-Menschen und KI-Vorurteile | Alle Podcast-Folgen


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.