Fotografije: unapređenje video snimaka i 3D mozaik

Tehnologije koje omogućavaju da se kvalitet video snimka poboljša pomoću fotografija, kao i da se skup fotografija smesti u svoj kontekstni 3D prostor

Dve ulazne fotografije i četiri kadra polaznog (gore) i rezultujućeg (dole) video snimka

Mali elektronski uređaji poput digitalnih fotoaparata ili mobilnih telefona omogućavaju nam ovih dana da svaku situaciju ovekovečimo, bilo putem fotografija bilo putem video snimka. I dok broj megapiksela za fotografije raste veoma brzo, omogućavajući nam da napravimo izuzetne fotografije scena, beležeći i najmanje detalje u njima, video snimci koje ovi uređaji kreiraju ne prate tempo povećanja rezolucije koje diktiraju digitalne fotografije. Kako svaki od dva tipa zapisa ima svoje prednosti, logično je da se javljaju ideje njihovog kombinovanja radi uklanjanja mana svakog od njih ponaosob. Računari su dostigli takvu snagu da složeni matematički proračuni, koji su neophodni za naprednu obradu slike i videa, mogu da se odrade na prosečnom PC računaru, tako da su uslovi za novi korak napred u poimanju i korišćenju videa i fotografija sasvim spremni. Neke od tehnologija koje su predstavili istraživači sa Vašingtonskog univerziteta, zajedno sa ljudima iz Microsofta, stvari podižu na sasvim novi nivo, dajući treću dimenziju našim zapisima i pružajući nam blizak uvid u stvari koje nas očekuju u budućnosti.

Poboljšavanje video snimka fotografijama

Kada je video u pitanju, elementi koji kvare njegovu upotrebljivost su pre svega rezolucija, ali i lošija ekspozicija, manji dinamički opseg boja i slično. Sve navedene mane videa kod fotografija ne postoje, tako da je grupa studenata Vašingtonskog univerziteta pokrenula ambiciozan projekat u kojem pokušavaju (i uspevaju) da poprave kvalitet statičnih video scena korišćenjem fotografija visoke rezolucije istih scena. Kada se kaže statične scene, misli se na scene u kojima se kamera pomera, ali se objekti na sceni ne pomeraju. Kako čitava stvar radi? U prvoj fazi, vrši se analiziranje videa tokom kog se stvara trodimenzionalni model scene i određuje položaj raspoloživih fotografija u odnosu na video frejmove. Potom se upotrebom tehnike „multi-view stereo” procenjuje „dubina” svakog frejma videa, a ista tehnika primenjuje se i na raspoložive fotografije. Na ovaj način dobijeni su 3D modeli fotografija i video frejmova, koji se određenim matematičkim transformacijama mogu preklopiti, čime se sadržaj svake fotografije može ubaciti na ono mesto u videu gde ona stvarno i odgovara. To se i čini u pretposlednjem koraku, kada se ulazni video „renderuje” tako što mu se kao teksture dodaju sadržaji raspoloživih fotografija. Ovako renderovan video se u poslednjoj fazi obrade tretira tehnikom spacetime fusion, koja iz njega uklanja artefekte koji su uneseni renderovanjem, čime se dobija savršeno gladak video, bez naglih i neprirodnih promena. U demonstraciji svoje tehnike autori ovog alogoritma pokazali su kako njihov algoritam uspeva da očuva bitne detalje video snimka, kao što su odsjaji na određenim objektima, dok istovremeno višestruko povećava rezoluciju videa, povećava dinamički opseg boja i poboljšava ekspoziciju.

Veća rezolucija, visok dinamički opseg, poboljšana ekspozicija, retuširanje detalja

Pored pukog poboljšanja kvaliteta videa, opisani algoritmi mogu da se koriste i za postizanje nekolicine interesantnih efekata. Jedan od tih efekata je i izbacivanje određenih objekata iz snimka – zamislite samo da jednostavno možete iz snimka izbaciti stub koji vam zaklanja deo scene, pri čemu, posle izbacivanja, deo scene iza njega biva savršeno vidljiv. Takođe, moguće je iz snimka izbacivati podrhtavanje nastalo usled snimanja „iz ruke”, a određeni objekti na sceni mogu se modifikovati na različite načine tako da izgledaju potpuno drugačije nego u originalnom snimku (promena boja, otklanjanje odsjaja ili zamena sadržaja objekta nečim sasvim drugačijim). Interesovanje koje je kod vas probudila ova priča verovatno će se pretvoriti u oduševljenje ako pogledate video koji demonstrira primene ovog algoritma (http://grail.cs.washington.edu/projects/videoenhancement/videoEnhancement.htm).

Odmah zatim obično sledi i pitanje: kada će na raspolaganju biti komercijalni programi koji se oslanjaju na ovaj algoritam? Nažalost, trenutni okviri ovog rada su akademski, budući da je obrada koju zahteva opisani algoritam izuzetno zahtevna (jedan frejm rezolucije 800 x 600 tačaka obrađuje se oko pet minuta). Ipak, autori algoritma bili su veoma velikodušni pa su izvorni kôd najvećeg dela svog programa postavili na stranicu Vašingtonskog univerziteta posvećenog ovom programu, tako da se neki njegovi delovi mogu uskoro pojaviti i u nekom komercijalnom softveru, ko zna.

Kako to obično biva u nauci, noviteti nastaju kao neobična kombinacija već poznatih otkrića, pa tako i rad studenata Vašingtonskog univerziteta crpi ideje iz nekoliko poznatih radova. Prvi je VideoTrace, sistem za generisanje 3D modela na osnovu videa, koji je razvijen u Australijskom centru za vizuelne tehnologije pri univerzitetu u Adelaidi, a u saradnji sa kompanijom Oxford Brokes Computer Vision Group. VideoTrace omogućava korisnicima da preko postojećeg video snimka kreiraju 3D model objekta koji je na snimku, delom ručno a delom automatski. Objekti kreirani na ovaj način mogu se jednostavno izdvojiti iz snimka, modifikovati i uvući u neki program za 3D modelovanje.

Mozaik fotografija u 3D prostoru

Još jedan interesantan rad vezan za obradu videa dolazi od Microsofta, tačnije od male grupe ljudi iz Microsoftovog istraživačkog centra. Rad je nazvan „razmotani mozaik” (Unwrap mosaic), a naziv potiče od toga što se na osnovu video sekvence kreira 2D mozaik objekta, koji se može jednostavno poklopiti sa snimkom objekta iz raznih uglova. Pojašnjenja radi, otisak prsta umočenog u mastilo i potom uvaljanog na papir ličio bi na mozaik prsta. Kreiranje mozaika 3D objekata sa video snimaka autori ovog rada iskoristili su da demonstriraju mogućnost naknadnog menjanja videa: nacrtani brkovi, obrve i rumeni obrazi na mozaiku lica savršeno su se uklopili na lice osobe na video snimku oko koje kamera kruži dok ona priča.

Kada govorimo o slikama, još odavno smo videli Java aplete koji su u stanju da od nekoliko slika neke prostorije ili nekog eksterijera kreiraju virtuelni 3D prostor koji je moguće razgledati u 360 stepeni. Jedan interesantan projekat koji se zasniva na sličnoj ideji razrađen je u saradnji Microsofta i Vašingtonskog unverziteta, i ovih dana je prerastao u gotov proizvod dostupan svima – Photosynth. Čitava stvar krenula je od projekta Photo Tourism, koji je pokrenuo Vašingtonski univerzitet. Ideja ovog projekta bila je da se na osnovu velikih kolekcija fotografija iste scene, bilo da se radi o privatnim kolekcijama ili slikama sa nekog online servisa za čuvanje slika, napravi 3D model scene, po kom će se korisnici slobodno kretati kao u virtuelnom 3D prostoru. Algoritam u pozadini sistema analizira sve slike scena, određujući bitne parametre svake slike kao što je pozicija sa koje je snimljena. Na osnovu proračuna kreira se 3D mapa scene, koja korisniku uvek nudi mogućnost da željeni detalj scene vidi iz određenog ugla i sa najviše detalja. Dok Univerzitet u Vašingtonu kao demonstraciju algoritma nudi Java aplet koji radi izuzetno sporo i maksimalno opterećuje računar, Microsoft je razvio sopstveno rešenje za 3D pregled slika, Photosynth, koje se instalira kao dodatak za Firefox i IE brauzere. Posle određenog vremena koje je proveo kao eksperimentalni projekat, Microsoft je krajem avgusta pokrenuo zvanični sajt photosynth.net. Photosynth je izazvao tako veliko interesovanje da je to iznenadilo čak i ljude iz Microsofta, tako da je server posle svega nekoliko sati pao od preopterećenja, da bi se nešto kasnije ponovo uspostavio normalan rad. Na ovom sajtu korisnici mogu besplatno da preuzmu dodatak za pregled fotografija, nešto veći od 8 MB, kojim mogu videti već kreirane 3D scene nekih od značajnih svetskih objekata kao što su Tadž Mahal ili fontana di Trevi, a takođe i mnoštvo scena kreiranih od strane običnih korisnika. Pored pregleda već kreiranih scena, korisnici mogu da uploaduju svoje fotografije i kreiraju sopstvene 3D scene, uz opasku da nije moguće kreirati privatne scene, već je svaka kreirana scena dostupna svima. Da bi se uopšte mogle kreirati scene, potreban je Windows Live nalog. Prva iskustva sa Photosynthom veoma su pozitivna – iako je na početku bilo potrebno malo vremena za navikavanje na navigaciju u virtuelnom prostoru, pregled slika teče uglavnom glatko, osim ako se ne radi o izuzetno kompleksnim scenama koje se sastoje od hiljada fotografija. Ono što značajno potpomaže brzini rada programa jeste korišćenje tehnologije za prenos slika Seadragon, pomoću koje se prenose samo delovi slika koji se trenutno vide, čime se postižu značajne uštede u protoku podaka i samim tim dobija na brzini. Za sledeće verzije Photosyntha najavljuje se i dodavanje vremenske komponente, tako da će biti moguće izabrati doba dana u koje se posmatra određena scena.

• • •

Zaista je fascinantno videti svu moć matematičkih formula primenjenu na slike i video, koja pred nas donosi kao realnost scene iz filmova kojima smo se do juče smejali kao naivnim i nemogućim. Naše fotografije i video snimci već sada dobijaju treću dimenziju na ekranu, a ko zna, za koju deceniju verovatno ćemo ih gledati kao holograme. Do tada, budite oprezni pri komentarisanju scena iz high-tech filmova, jer se nikad ne zna šta budućnost donosi...

Dejan STEFANOVIĆ