Stell dir vor, du könntest aus einem einzigen Foto eine ganze 3D-Welt erschaffen! Forscher haben eine Methode entwickelt, die genau das kann.
Weißt du was ein 3D-Zauberer ist? Nein, kein Magier, sondern ein Computerprogramm, das aus einfachen Fotos eine ganze 3D-Welt zaubern kann. Stell dir vor, du machst ein Foto von deinem Zimmer. Mit RayZer kannst du dann aus diesem Foto eine 3D-Ansicht deines Zimmers erstellen, als ob du durch die Wände schauen könntest!
Was die Forschenden herausgefunden haben
Die Forschenden haben herausgefunden, dass RayZer ganz ohne Hilfe von 3D-Kameras oder speziellen Annotationen auskommt. Es kann aus normalen Fotos die Kameraeinstellungen und die Szene rekonstruieren. Das bedeutet, dass RayZer aus einem einzigen Foto eine 3D-Welt erschaffen kann, die so gut ist, als ob es die Kameraeinstellungen von Anfang an gewusst hätte.
Wie haben sie das gemacht?
Um das zu schaffen, haben die Forschenden ein selbstlernendes System entwickelt. RayZer nimmt normale, unkalibrierte Fotos als Eingabe und lernt, die Kameraeinstellungen und die Szene selbst zu berechnen. Es nutzt eine Art von künstlichem Netzwerk, das wie ein Übersetzer arbeitet. Dieser Übersetzer kann die Informationen aus den 2D-Fotos in eine 3D-Welt übersetzen.
Warum ist das wichtig?
Das ist wichtig, weil es viele Anwendungen gibt. Zum Beispiel könnte man damit virtuelle Touren durch Museen oder historische Stätten machen, ohne dass man dort gewesen ist. Auch in der Architektur oder im Film könnte man damit tolle 3D-Modelle erstellen.
Du willst mehr über die Studie wissen?
Diese spannende Forschung wurde von Hanwen Jiang, Hao Tan, Peng Wang, Haian Jin, Yue Zhao, Sai Bi, Kai Zhang, Fujun Luan, Kalyan Sunkavalli, Qixing Huang und Georgios Pavlakos durchgeführt. Mehr Infos findest du auf der Projektseite: https://hwjiang1510.github.io/RayZer/