Mit Eye-Tracking und Künstlicher Intelligenz will Google Mimik erkennnen und auf Avatare in VR und AR übertragen.

Google hat ein besonders cleveres Patent angemeldet, mit dem das Gesicht eines virtuellen Avatars in Echtzeit entlang der Mimik eines VR- oder AR-Brillenträgers animiert werden kann. Für soziale Interaktion speziell in VR wäre das ein Sprung nach vorne.

Im Vergleich zu anderen Verfahren, die nur mit zusätzlichen Kameras oder Elektroden funktionieren, ist die Google-Methode dank maschinellem Lernen viel eleganter: An Zusatzhardware braucht es nur ein in die Brille integriertes Eye-Tracking-System. Das dürfte in ein paar Jahren ohnehin ein Standardbauteil von VR- und AR-Brillen sein. Den Rest übernimmt die KI-Software.

KI errät Mimik

Kern des Patents ist ein auf Bildverarbeitung spezialisiertes neuronales Netz (CNN). Es wird vorab mit Bildern trainiert, auf denen der Nutzer seine emotionale Bandbreite zum Besten gibt: ein Lachen, der Hundbeblick, überraschtes Staunen, ein lockeres Zwinkern, wütendes Starren – und so weiter. Rund 46 Gesichtsparameter soll das KI-System bei der Gesichtsanalyse beachten.

Setzt sich der Nutzer anschließend eine VR-Brille mit Eye-Tracking-Kameras auf, soll das neuronale Netz allein anhand der Muskelbewegungen rund um die Augenpartie und der Augenbewegungen selbst die passende Mimik rekonstruieren können. Die wiederum wird dann in Echtzeit auf den Avatar übertragen.

Ein Patent mündet zwar nicht zwangsläufig in einem Produkt. Aber sollte das Verfahren wie beschrieben funktionieren, ist es viel zu clever, zu einfach und speziell für VR zu wichtig, um es im Aktenschrank verstauben zu lassen.

Anhand der Augenpartie soll die KI Emotionen lernen, abrufen und auf einen Avatar übertragen können. Bild: Google

Anhand der Augenpartie soll die KI Emotionen lernen, abrufen und auf einen Avatar übertragen können. Bild: Google


Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #115: Oculus Rift 2, Pimax Vorbestellstart, AWE 2018 | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.