Auf der Oculus Connect 5 strich Facebooks VR/AR-Forschungsleiter Michael Abrash heraus, wie wichtig realistischer Raumklang für Immersion ist und kündigte an, dass sein Team an einem Simulationsmodell für Raumakustik arbeitet. Im Oculus Blog wird dieses nun näher vorgestellt.

Schallwellen interagieren auf komplexe Weise mit der Umgebung. Was wir hören, ist die Summe einer Vielzahl von Echos der Klang- oder Geräuschquelle, die zu unterschiedlichen Zeiten ans Ohr dringen, erklären die Forscher im Oculus Blog.

Der Mensch vernimmt Schallwellen, die direkt bei ihm auftreffen und Schallwellen, die von Objekten wie zum Beispiel Wänden reflektiert werden und damit über Umwege zum Ohr gelangen. Ebenfalls zu hören ist ein Nachhall, der aus einer Anhäufung verspäteter Echos besteht. Diese drei Arten von Schall sind in folgendem Video illustriert.

Die meisten Audiolösungen für Virtual Reality und flache Spiele würden nur die direkten Schallwellen korrekt berechnen. In der Realität hätten die zweite und dritte Art von Schallwellen jedoch einen größeren Anteil am Hörerlebnis, schreiben die Forscher.

Raytracing hilft

Ein Jahr lang arbeiteten die Wissenschaftler an einem Modell für Raumakustik, das diese sekundären und tertiären Schallwellen basierend auf Raumgeometrie korrekt simuliert. Das größte Problem war, die komplexen Berechnungen so zu vereinfachen, dass sie den Computer nicht übermäßig beanspruchen und dennoch so realistisch wie möglich klingen.

Um zu ermitteln, welche Aspekte der Raumakustik am genausten simuliert werden sollten, führten die Forscher zuerst psychoakustische Experimente durch.

Danach galt es, ein rechnerisch möglich effizientes Simulationsmodell für die Ausbreitung von Schallwellen in Räumen zu entwickeln. Hierzu programmierten die Forscher einen Raytracing-Algorithmus, der die Zahl simulierter Strahlen so weit wie möglich reduziert.

Das folgende Video lässt den Unterschied zwischen aktivierter und deaktivierter Simulations-Engine in verschiedenen Raumsituationen hören.

Komplexität dynamisch reduzieren

Da bei der Simulation teilweise Audioartefakte entstehen, wurde ein weiterer Algorithmus mit der Aufgabe entwickelt, Rauschen aus der Klangsimulation herauszufiltern.

Das gleichzeitige Auftreten vieler Geräuschquellen war ein weiteres Problem, das die Forscher lösen mussten. Der Grund: Die Berechnung der Raumakustik kann bei zu vielen Klangquellen sehr schnell sehr anspruchsvoll werden und einen Rechner in die Knie zwingen.

Das Team entwickelte ein System, das die akustische Komplexität der Szene dynamisch reduziert, indem sie gewisse Geräusch- und Klangquellen gegenüber anderen vorzieht oder mehrere nahe wie ferne zusammenlegt, ohne dass der Nutzer etwas merkt.

Weitere Verbesserungen geplant

Bei einem OC5-Vortrag (siehe Video unten) präsentierten zwei Oculus-Mitarbeiter das Simulationsmodell und beschrieben dessen Vorteile. “Du weißt, dass du an einer Wand stehst, ohne sie zu sehen. Du kannst alles fühlen”, sagt der Audio Design Manager Tom Smurdon.

Für Entwickler fällt der Implementierungsaufwand gering aus: Sie müssen der Architektur lediglich Oberflächeneigenschaften zuweisen.

Als nächstes wollen die Forscher weitere akustische Phänomene wie Schallbeugung und -Transmission simulieren. Letzteres ermöglichte eine Simulation von Schallwellen, die durch Wände oder andere Objekte dringen.

Mehr lesen über Oculus-Forschung:

| Featured Image and Source: Oculus Blog

Tagesaktuelle und redaktionell ausgewählte Tech- und VR-Deals: Zur Übersicht
VRODO-Podcast #115: Oculus Rift 2, Pimax Vorbestellstart, AWE 2018 | Alle Folgen anhören


Unsere Artikel enthalten vereinzelt sogenannte Affiliate-Links. Bei einem Kauf über einen dieser Links erhalten wir eine kleine Provision. Der Kaufpreis bleibt gleich.