Project R-2214

Coëxploratie van Vrije Standpuntvideo in Sportscènes met Occlusieafhandeling via Spatiotemporele Bewegingsschatting en Ad-hoc Kalibratie op Parallelle Architecturen (Onderzoek)

In het huidige technologische landschap wordt er veel aandacht besteed aan hoog-kwalitatieve distributie van sportmateriaal. Jammer genoeg zijn de beelden beperkt tot de posities van de echte camera's; belangrijke gebeurtenissen en acties worden gemist of slecht in beeld gebracht. Daarom is het wenselijk dat de kijkpositie vrij gekozen kan worden, zowel door de distributeur als de kijker. Deze positie is dan niet beperkt door de posities van de opnameapparatuur, en kan uitgebuit worden om nieuwe en ongewone beelden te genereren, bijvoorbeeld het volgen van een speler vanaf de schouderpositie. Deze vorm van immersie is een krachtige verrijking van de belevenis van de kijker. Om dit soort effecten te bereiken, moeten er algoritmen beschikbaar zijn die vrije standpunten voor virtuele camera's kunnen genereren. Bestaande algoritmen gebruiken 3D reconstructie of afbeeldingsgebaseerde interpolatie, maar deze zijn niet altijd toepasbaar voor sportwedstrijden. Dit doctoraat zal zich richten op het ontwikkelen van deze vrije standpuntalgoritmen, waarbij de volgende factoren in rekening worden gebracht. De camera's staan zeer ver uit elkaar en vaak kan er niet precies gekozen worden waar de camera's staan. Bovendien wordt de meerderheid van de camera's gericht op de actie, waardoor de beelden niet stil zullen staan en de zoomfactor sterk kan verschillen van camera tot camera en van beeld tot beeld. Dit heeft gevolgen voor de kalibratie, omdat de cameraeigenschappen niet constant zijn. Vooraf kalibreren hierop heeft dus geen zin. Daarom wordt er een automatische en ad-hoc kalibratie ontwikkeld. In een sportwedstrijd is occlusie een veel voorkomend probleem en is een belemmering voor het gebruik van de huidige vrije standpuntalgoritmen, zelfs met occlusieafhandeling. De camera's staan te ver uit elkaar om eenduidige informatie te bepalen. Dit doctoraat zal gebruik maken van bewegingsschattingsalgoritmen in het spatiotemporele domein om het occlusieprobleem aan te pakken. Meer specifiek wordt occlusie gedetecteerd in het temporele domein door middel van bewegingsschatting en wordt het spatiale domein gebruikt voor het opvangen van deze occlusies. Als laatste zal de ontwikkeling van de algoritmen gebeuren met behulp van parallelle architecturen om tot een real-time oplossing te komen, zodat dit onderzoek praktisch bruikbaar zal zijn in bestaande opstellingen.

01 januari 2010 - 31 december 2013