Filmski stvaratelji možda će uskoro moći stabilizirati drhtavi video, mijenjati točke gledišta i stvarati efekte zamrzavanja, zumiranja i usporene snimke—bez snimanja novih snimaka—zahvaljujući algoritmu koji su razvili istraživači sa Sveučilišta Cornell i Google Research.
Softver, nazvan DynIBar, sintetizira nove poglede koristeći informacije o pikselima iz originalnog videa, pa čak radi i s pokretnim objektima i nestabilnim radom kamere. Rad je veliki napredak u odnosu na prethodne pokušaje, koji su dali samo nekoliko sekundi videa, a često prikazivali subjekte u pokretu kao mutne ili nepravilne.
Kod za ovo istraživanje je besplatno dostupan, iako je projekt u ranoj fazi i još nije integriran u komercijalne alate za uređivanje videa.
“Iako je ovo istraživanje još uvijek na početku, stvarno sam uzbuđen zbog potencijalnih budućih primjena za osobnu i profesionalnu upotrebu”, rekao je Noah Snavely, istraživač u Google Researchu i izvanredni profesor računalnih znanosti na Cornell Techu iu Cornell Ann S. Bowers College of Computing and Information Science.
Snavely je predstavio ovaj rad, “DynIBaR: Neural Dynamic Image-Based Rendering,” na konferenciji IEEE/CVF o računalnom vidu i prepoznavanju uzoraka 2023., 20. lipnja, gdje je dobio počasno priznanje za nagradu za najbolji rad. Zhengqi Li, Ph.D, iz Google Researcha bio je glavni autor studije.
“Tijekom posljednjih nekoliko godina, vidjeli smo veliki napredak u metodama sinteze prikaza — algoritmima koji mogu uzeti kolekciju slika koje snimaju scenu iz diskretnog skupa gledišta i mogu prikazati nove poglede te scene”, rekao je Snavely. “Međutim, većina ovih metoda ne uspijeva na scenama s pokretnim ljudima ili kućnim ljubimcima, stablima koje se njišu i tako dalje. To je veliki problem jer mnoge zanimljive stvari u svijetu su stvari koje se kreću.”
Postojeće metode za renderiranje novih prikaza nepokretnih scena, poput onih koje čine da fotografija izgleda 3D, uzimaju 2D mrežu piksela sa slike i rekonstruiraju 3D oblik i izgled svakog objekta na fotografiji. DynIBar ide korak dalje procjenjujući kako se objekti pomiču tijekom vremena. Ali razmatranje sve četiri dimenzije stvara nevjerojatno težak matematički problem.
Istraživači su pojednostavili ovaj problem korištenjem pristupa računalne grafike koji je razvijen 1990-ih nazvan renderiranje temeljeno na slikama. U to je vrijeme tradicionalnim metodama računalne grafike bilo teško prikazati složene scene s mnogo malih dijelova — kao što je lisnato stablo — pa su istraživači grafike razvili metode koje uzimaju slike scene, a zatim mijenjaju i rekombiniraju dijelove kako bi generirale nove slike. Na taj je način većina složenosti bila pohranjena unutar izvorne slike i mogla se brže učitavati.
“Inkorporirali smo klasičnu ideju renderiranja temeljenog na slikama i to našu metodu čini sposobnim za rukovanje stvarno složenim scenama i dužim videozapisima”, rekao je koautor Qianqian Wang, doktorand na polju računalnih znanosti na Cornell Techu. Wang je razvio metodu za korištenje renderiranja temeljenog na slikama za sintetiziranje novih pogleda na fotografije, na čemu se temelji novi softver.
Unatoč napretku, ove značajke možda neće uskoro doći na vaš pametni telefon. Softveru je potrebno nekoliko sati da obradi samo 10 ili 20 sekundi videa, čak i na moćnom računalu. U bliskoj budućnosti, tehnologija bi mogla biti prikladnija za korištenje u izvanmrežnom softveru za uređivanje videa, rekao je Snavely.
Sljedeća prepreka bit će otkriti kako renderirati nove slike kada iz izvornog videa nedostaju informacije o pikselima, primjerice kada se subjekt kreće prebrzo ili korisnik želi rotirati točku gledišta za 180 stupnjeva. Snavel i Wang predviđaju da bi uskoro moglo biti moguće uključiti generativne AI tehnike, kao što su generatori teksta u sliku, kako bi se popunile te praznine.
TechXplore
EN 
HR