Výzkumníci z FIT VUT vyvinuli novou metodu pro rozšířenou realitu

Chcete si v přírodě vyfotit hezký snímek mobilem. Namíříte kameru na krajinu a zařízení vám v rozšířené realitě přímo na obrazovce nabídne názvy okolních kopců, jejich výšku, turistické cesty nebo třeba vrstevnice. Díky tomu, že nový softwarový nástroj výzkumníků z CPhoto@FIT VUT pozná, kde fotograf stál i co fotil, nebo jak dané místo vypadá v nejrůznějších podmínkách, pak doma můžete fotku různě upravit, třeba doostřit či změnit stíny. Nebo se na místo pořízení snímku znovu přenést prostřednictvím virtuální reality.

To všechno umí nový software, který vyvinul tým z výzkumné skupiny výpočetní fotografie Fakulty informačních technologií Vysokého učení technického v Brně ve spolupráci s Adobe Research. Nový nástroj společně představili na prestižní konferenci ECCV, nyní čekají na udělení patentu.

"Náš software umí zpřesnit pozici a orientaci kamery v prostředí outdooru. V mobilní aplikaci pak nabídne prostřednictvím rozšířené reality různé informace o okolí – názvy řek a hor, vrstevnice nebo třeba vzdálenost k horské chatě – zkrátka dokáže zobrazit jakoukoli topografickou informaci v reálném terénu," popisuje vedoucí výzkumné skupiny CPhoto@FIT Martin Čadík.

Mobil si díky určení polohy GPS zobrazí syntetický pohled na krajinu, podobně jako např. Google Earth. Z fotografie nebo obrazovky potom detekuje významné body, třeba obrysy kopců, řek nebo lesů, porovná je s terénními modely a díky tomu dokáže určit polohu i orientaci kamery na metry přesně. Porovnání bodů z fotografie a z 3D modelu terénu dělá automaticky pomocí neuronové sítě. Tu výzkumníci natrénovali na tisícovkách fotografií krajin z vlastních archivů a snímcích stažených z internetu.

"Tyto snímky jsme dříve využívali právě pro porovnávání jednotlivých bodů, tedy porovnávali jsme fotografie s fotografiemi. Mělo to ale řadu nevýhod – odkud jsme neměli snímky, tam jsme nemohli provést lokalizaci. Nyní porovnáváme fotografie přímo s 3D terénními modely. Ty pokrývají celou planetu, tedy i místa, kam lidé nechodí, navíc obsahují data s texturami z různých ročních období. To pomáhá při lokalizaci, pokud se krajina mění," vysvětluje Martin Čadík. Ve světě výpočetní fotografie jde o velký krok, který byl umožněn pokrokem ve vývoji neuronových sítí a dostupností přesných terénních modelů s texturami.

Algoritmy pak uživatelům pomůžou zejména doma u počítače. Ten už díky softwaru dokonale zná místo, odkud byl snímek pořízen, i orientaci kamery, tedy místo, které chtěl fotograf zvěčnit. Díky tomu jsou možné úpravy snímků, které by jinak byly hodně komplikované. Uživatelům umožní třeba zaostřit na jiný vrchol, přidat stíny nebo změnit osvětlení fotky. Software také dokáže zasadit pořízenou fotografii přímo do terénu a může pak ve virtuální realitě vrátit fotografa přímo na místo, odkud byl snímek pořízen. Fotograf pak díky speciálním brýlím může třeba svým kamarádům či příbuzným virtuálně ukázat místo, kde pořídil snímky, a jak vypadá okolí mimo záběr fotografie.

Nástroj vznikl v rámci projektu Ministerstva školství, mládeže a tělovýchovy ČR Topografická analýza obrazu s využitím metod hlubokého učení. Na něj chtějí vědci z FIT navázat dalším výzkumem, ten by měl umět díky neuronové síti a terénním modelům lokalizovat místo a orientaci kamery ve větším měřítku i bez předchozího hrubého odhadu pozice z GPS.