google-nek

Kaiwen Guo és mtsai./SIGGRAPH Asia 2019

A Google mérnökei megtanulták létrehozni a mozgásban lévő személy reális modelljét, és beágyazni azt egy virtuális térbe, megváltoztatva a modell megvilágítását. Létrehoztak egy fülkét több tucat kamerával és több száz vezérelt fényforrással, benne egy személy. A fejlesztést a SIGGRAPH Asia 2019 konferencián mutatják be, erről pedig cikket tettek közzé a szerzők honlapján.

Kontextus

A mozgás rögzítésére és a virtuális avatarok létrehozására szolgáló technológiákat évek óta használják a különböző területeken. Némelyikük az arc és más testrészek mozgásának megörökítésén alapul, amelynek felvételeivel egy másik karaktert élesztenek. Azokban az esetekben, amikor fontos az ember megjelenésének fenntartása, többkamerás rendszereket alkalmaznak.

Ezen a területen néhány fejlesztőnek meglehetősen jó minőségű eredményeket sikerült elérnie. Például az Intel olyan rendszert használ néhány sportstadionban, amely lehetővé teszi a visszajátszások bármilyen szögből történő megjelenítését. Az ilyen rendszerek azonban nem gyűjthetnek adatokat az objektumok optikai tulajdonságairól, és a segítségükkel kapott modellt nem lehet reálisan átvinni más világítással rendelkező környezetbe.

A Google újdonsága

A Google mérnökeinek egy csoportja Paul Debevec és Shahram Izadi vezetésével létrehozott egy állványt és szoftvert, amely lehetővé teszi egy olyan modell létrehozását, amely reálisan tükrözi a mozgásban lévő személy alakját és optikai tulajdonságait, valamint ezt a modellt egy másik környezetbe helyezi. és igazítsa hozzá a világítást.

Az állvány szinte gömb alakú, nyílással, amelyen keresztül az ember belép. A gömböt alkotó állványokba 331 világító egységet telepítettek, amelyek mindegyike egyedi színű LED-ekből, 42 színes kamerából, valamint 16 mélység-rögzítő egységből áll, amelyek mindegyike színes és két infravörös kamerából és egy infravörös lézerből áll. kivetítő. Mivel a rendszer nagy mennyiségű adatot hoz létre, feldolgozása a felhőben lévő kiszolgálókon történik.

Működés közben a lézer infravörös mintát vetít, amely finom vonalakból áll. Ennek köszönhetően a rendszer nagy pontossággal helyreállíthatja az ember alakját, összehasonlítva a kapott infravörös adatokat az eredeti mintával.

Rendszer sematikus.
Kaiwen Guo és mtsai./SIGGRAPH Asia 2019

A LED-ek a kívánt téreloszlású fényt vetítik ki, és gyorsan (másodpercenként 60-szor) két ellentétes színátmenet váltakozik. Ez lehetővé teszi, hogy ne csak a test és a ruházat színeloszlásának térképét hozza létre, hanem egy tükröződési térképet is, amely lehetővé teszi az ember világításának programozott megváltoztatását, reálisan integrálva azt egy új környezetbe.

Szintén egy alkalmazás

A szerzők összehasonlították fejlődésüket a korábbi hasonló rendszerekkel. Az új rendszer lehetővé teszi nagyobb felbontású modell, valamint kevesebb műtárgy beszerzését. Sokkal jobban működik gyorsan mozgó tárgyaknál is, például dobott labdánál.

A fejlesztők létrehoztak egy demo alkalmazást is, amely kibővített valóság módban működik, és reálisan integrálja az ember modelljét, és megjeleníti azt a telefon elején. Egy korábbi fejlesztés alapján működik, amely a kamera adatai alapján meghatározza az objektumok megvilágítási és visszaverődési jellemzőit.

Ez év elején Paul Devebeck csoportja bemutatott egy újabb hardver- és szoftverfejlesztést, amely szokatlan vizuális effektusokat tesz lehetővé. Összeszereltek egy prototípusú fénymező kamerát 16 GoPro-ból, és algoritmusok segítségével osztották fel a jelenetet külön felvételekre, sorrendben, amint eltávolodtak a kamerától.

Victor Roman
Ezt a hírt eredetileg itt tették közzé N + 1, a tudomány, amely hozzáteszi.