KI-basierte Analyse- und Schätzverfahren machen aufwendigen Motion-Capture-Installationen Konkurrenz: In den kommenden Jahren könnte es ganz leicht werden, realistische digitale Abbilder von Menschen zu erstellen.

Forscherinnen und Forscher des Max-Planck-Instituts für Informatik und der Eidgenössischen Technischen Hochschule Lausanne demonstrieren, wie mit einer einzelnen handgeführten Videokamera Bewegungen eines Menschen realistisch digitalisiert werden können.

Eine 3D-Rekonstruktion – noch dazu animiert – aus nur einer Perspektive zu erstellen, ist eine besondere Herausforderung: Es fehlen sämtliche Tiefeninformationen und rund die Hälfte der gefilmten Person ist von der Kamera abgewandt und für diese somit unsichtbar.

Typischerweise werden für Motion-Capture- und 3D-Aufnahmen daher mehrere Kameras eingesetzt, die eine Person aus vielen Blickwinkeln gleichzeitig erfassen. Das ist allerdings aufwendig und teuer.

Um Bewegungen realistisch mit einer einzelnen Kamera zu digitalisieren, entwickelten die Forscher eine Drei-Schritte-Methode:

Zuerst wird die zu digitalisierende Person mit der Kamera in der Hand in 360-Grad umrundet. Eine Software erfasst bei diesem Scan-Vorgang die Proportionen der Person und berechnet ein digitales Skelett. Die Beschaffenheit der Kleidung wird ebenfalls berücksichtigt.

Anschließend orientiert sich die Software an den Gelenkpunkten des zuvor berechneten digitalen Skeletts und leitet mittels Posenerkennung flüssige Bewegungen ab. Dabei unterstützt ein auf Bildverarbeitung optimiertes neuronales Netz.

Im letzten Schritt wird die Silhouette der digitalisierten Person anhand der realen Bilddaten verfeinert und texturiert.

Hologramm-Telefonie rückt näher

Laut den Forschern können die animierten Menschenmodelle beispielsweise in Videos mit freier Perspektivenwahl weiterverarbeitet werden. Der eigene Ansatz soll bisherige Methoden in puncto Genauigkeit und Robustheit deutlich übertreffen und auch bei detailreichen Hintergründen verlässlich arbeiten.

Die Forschungsarbeit wird auf der Computergrafik-Fachkonferenz Siggraph im August vorgestellt. Weitere Informationen und die wissenschaftliche Publikation gibt es auf der offiziellen Projektseite.

Besonders interessant wären die digitalen Abbilder im Kontext von Virtual- oder Augmented-Reality-Telefonie, bei der man sich mit einer Hologramm-Version des Gesprächspartners unterhält. Da nur eine einzelne Kamera benötigt wird, wäre das Verfahren einer breiten Masse zugänglich. Das wiederum ist die Grundvoraussetzung für ein erfolgreiches Kommunikationssystem.

Für wirklich glaubhafte digitale Gesprächspartner, mit denen man sich gerne unterhält, fehlt allerdings ein realistisch gerendertes und animiertes Gesicht samt Mimik – das dürfte die größte Hürde bei der Mensch-Digitalisierung sein.

Weiterlesen über 3D-Scanning und Motion-Capturing:


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #104: Magic-Leap-Launch und KI-Persönlichkeitsanalyse | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.