Project R-3494

FINE : Free-viewpoint Immersive Networked Experience (Onderzoek)

Het Free-viewpoint Immersive Networked Experience (FINE) project zal gericht zijn op onderzoek en ontwikkeling van een nieuwe end-to-end architectuur in verband met de ontwikkeling en levering van een nieuwe vorm van live-media-inhoud. FINE introduceert het concept van live free-viewpoint content die een aangename en meeslepende ervaringen zal bieden, doordat remote viewers een virtuele camera kunnen plaatsen in een echte live-action scene en ze deze vrij kunnen bewegen in ruimte en tijd, waardoor hun gevoel van aanwezigheid en werkelijkheid toeneemt. Vooruitgang in het verwerven, verwerken, overbrengen en tentoonstellen van live free-viewpoint content zal worden bereikt door zich in het onderzoek te richten op vier hoofdgebieden: - Snelle (real-time) en zeer nauwkeurige algoritmen voor een soepele weergave interpolatie en fotorealistische 3D-reconstructie van live evenementen via meerdere, hoge kwaliteit live video streams. - Real-time tracking en marker-less motion capture van meerdere personages. - Nieuwe coderings- en transmissietechnologieën om de gesynchroniseerde levering van geometrie, beeldwerk en metadata aan een breed scala van eindgebruikers via New Generation Networks mogelijk te maken. - Integratie van de ontwikkelde free-viewpoint technologieën in een netwerk end-to-end architectuur, en de validatie in experimentele producties. Verschillende user centered scenario's zullen worden gedefinieerd voor zowel professionele als thuisgebruikers. Deze scenario's zullen dienen als een kader om de ontwikkelde technologieën te demonstreren en valideren van en hun nut te bewijzen. FINE zal een grote impact hebben op diverse platformen: Internet, tv-uitzending, interactieve televisie, mobiele en online video games alsook digitale cinema. Hoewel de resultaten direct van toepassing zullen zijn op de media-industrie, zullen zij ook duidelijke voordelen hebben voor andere markten, zoals teleconferenties, medische beeldvorming, bewaking en beveiliging. Als onderdeel van de resultaten, zal er een multi-view video-dataset en een verzameling van open source tools voor het beheer daarvan worden gebouwd en worden vrijgegeven aan de wetenschappelijke gemeenschap.

01 april 2010 - 31 maart 2013