Kattintással 3D-modellek készíthetők emberek fotóiból

A Google projektje a nem látható részeket egyszerűen kiszámítja.

A PHORHUM nevű program keretében Cristian Sminchisescu, Mihai Zanfir és Thiemo Alldieck, a Google Research kutatói egy olyan neurális hálózatot fejlesztenek, amely a felhasználókról készített 2D-fotókból generál 3D-objektumokat.

A Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing (PHORHUM) nevű projekt kifejezetten a személyek szkennelésére specializálta magát. A rendszer számára a 3D-modellek elkészítéséhez elegendő egy valakit elölről ábrázoló felvétel. A folyamat során a kép nem látható részei - például a felhasználó hátoldala - automatikus kiszámításra kerülnek. Az alkalmazott mesterséges intelligencia a képpontokból kiszámítja a fényvisszaverődéseket és a színeket, amelyek azután textúraként az adott figurára helyezhetők.

A szakemberek a folyamatban két különböző neurális hálózatot használnak. Az egyik távolságértékeket és pontokat generál egy adott 3D-térben, majd egy árnyékoló hálózat kiszámítja az árnyékolási és színértékeket az összes pont megvilágítási és normálvektora alapján. A kutatók kiemelték, hogy a PHORHUM jelenleg az egyetlen olyan megoldás, amely a színek és a felületi szabványok mellett a fényerőértékeket és árnyalatokat is kiadja anélkül, hogy azokat fixen és változatlan állandóként integrálnák. A program sokkal pontosabban dolgozik, mint más hasonló jellegű projektek, például a Pifu és az Arch.

Az első eredmények azt mutatják, hogy a rendszer jól működik, viszont a nem látható részeknél a részletgazdagság visszaesik. További kutatásokkal azonban az ilyen 3D-modellek akár a játékiparban is hatékony megoldást jelenthetnek például akkor, ha egy koncepciórajzból kell 3D-objektumot létrehozni. Ez most még egy manuális és időigényes folyamat.