Key Takeaways
- Nvidia hat kürzlich eine Technik vorgestellt, die 2D-Fotos in Sekundenschnelle in 3D-Szenen umwandelt.
- Die Methode verwendet Computerleistung, um ungefähr zu ermitteln, wie sich Licht in der realen Welt verhält.
- Das Metaversum ist ein Bereich, in dem 3D-Szenen hilfreich sind, da sie aus jeder Kameraperspektive betrachtet werden können.
Neue Technologien für künstliche Intelligenz (KI) von Nvidia könnten bald 2D-Fotos in Sekundenschnelle in 3D-Szenen umwandeln, wodurch die Erstellung immersiver virtueller Räume wie des Metaversums so trivial wird wie die Textverarbeitung.
Nvidia hat kürzlich die Fotomethode namens Instant NeRF demonstriert, die Rechenleistung nutzt, um zu approximieren, wie sich Licht in der realen Welt verhält. Es könnte Ihre alten Fotos in eine Videospielszene verwandeln oder es kann verwendet werden, um Roboter und selbstfahrende Autos zu trainieren, um die Größe und Form von realen Objekten zu verstehen.
"3D-Bildgebung bringt eine neue Welt der Transformation", sagte Oren Debbi, der CEO von Visionary.ai, einem Computer-Vision-Unternehmen, das seine 3D-Algorithmen auf der Nvidia-Plattform ausführt, in einem E-Mail-Interview mit Lifewire. „Mit 3D ahmen Sie die reale Tiefe der Szene nach und lassen das Bild lebendiger und realistischer erscheinen. Neben AR/VR- und Industriekameras, bei denen 3D sehr verbreitet ist, sehen wir jetzt, dass es auf fast jedem Smartphone ohne verwendet wird der Benutzer weiß es sogar."
Hinzufügen von Dimensionen
Das erste Sofortbild, das vor 75 Jahren mit einer Polaroidkamera aufgenommen wurde, zielte darauf ab, die 3D-Welt schnell in einem 2D-Bild festzuh alten. Jetzt arbeiten KI-Forscher am Gegenteil: Sie verwandeln eine Sammlung von Standbildern in Sekundenschnelle in eine digitale 3D-Szene.
Bekannt als inverses Rendering, verwendet der Prozess KI, um zu approximieren, wie sich Licht in der realen Welt verhält, und ermöglicht es den Forschern, eine 3D-Szene aus einer Handvoll 2D-Bildern zu rekonstruieren, die aus verschiedenen Winkeln aufgenommen wurden. Nvidia behauptet, einen Ansatz entwickelt zu haben, der diese Aufgabe fast sofort erledigt.
Nvidia nutzte diesen Ansatz mit einer neuen Technologie namens Neural Radiance Fields oder NeRF. Das Ergebnis, genannt Instant NeRF, ist nach Angaben des Unternehmens die bisher schnellste NeRF-Technik. Das Modell benötigt nur wenige Sekunden, um mit einigen Dutzend Standbildern zu trainieren, und kann dann die resultierende 3D-Szene innerhalb von zehn Millisekunden rendern.
"Wenn traditionelle 3D-Darstellungen wie polygonale Netze mit Vektorbildern verwandt sind, sind NeRFs wie Bitmap-Bilder: Sie erfassen dicht, wie Licht von einem Objekt oder innerhalb einer Szene ausstrahlt", David Luebke, Vizepräsident für Grafikforschung bei Nvidia sagte in einer Pressemitteilung: „In diesem Sinne könnte Instant NeRF für 3D genauso wichtig sein wie Digitalkameras und JPEG-Komprimierung für die 2D-Fotografie – und die Geschwindigkeit, Leichtigkeit und Reichweite der 3D-Erfassung und -Weitergabe erheblich steigern.”
Das Sammeln von Daten für ein NeRF erfordert, dass das neuronale Netzwerk einige Dutzend Bilder erfasst, die von mehreren Positionen in der Szene aufgenommen wurden, sowie die Kameraposition jeder dieser Aufnahmen.
Das NeRF trainiert ein kleines neuronales Netzwerk, um die Szene zu rekonstruieren, indem es die Farbe des Lichts vorhersagt, das in jede Richtung und von jedem Punkt im 3D-Raum ausstrahlt.
Der Reiz von 3D
Das Metaverse ist ein Bereich, in dem 3D-Szenen nützlich sind, weil sie aus jeder Kameraperspektive betrachtet werden können, sagte Brad Quinton, Gründer der Perceptus-Plattform für Augmented Reality (AR), in einem E-Mail-Interview mit Lifewire. So wie wir im wirklichen Leben durch einen Raum gehen und seinen Inh alt aus vielen verschiedenen Blickwinkeln betrachten können, können wir uns mit einer rekonstruierten 3D-Szene virtuell durch einen Raum bewegen und ihn aus jeder Perspektive betrachten.
"Dies kann besonders nützlich sein, um Umgebungen für die Verwendung in der virtuellen Realität zu erstellen", sagte Quinton.
Programme wie Apples Object Capture verwenden eine Technik namens Photogrammetrie, um virtuelle 3D-Objekte aus einer Reihe von 2D-Bildern zu erstellen. Die 3D-Modelle werden in großem Umfang in Virtual-Reality- und AR-Anwendungen eingesetzt, prognostizierte Quinton. Beispielsweise verwenden einige KIs, wie die in der Perceptus AR-Plattform, 3D-Modelle, um ein Verständnis der realen Welt zu schaffen, was Echtzeit-AR-Anwendungen ermöglicht.
Die Verwendung von 3D-Bildern ahmt auch die reale Tiefe in einer Szene nach und lässt das Bild lebendiger und realistischer erscheinen, sagte Debbi. Um einen Bokeh-Effekt (auch bekannt als Porträtmodus oder Kinomodus) zu erzeugen, ist eine 3D-Tiefenabbildung erforderlich. Die Technik wird auf fast jedem Smartphone verwendet.
"Dies ist bereits der Standard für professionelle Videografen, die Filme drehen, und dies wird zum Standard für jeden Verbraucher", fügte Debbi hinzu.
