Project R-4343

Geavanceerde herbelichtingsalgoritmen voor post-productie (Onderzoek)

In de filmindustrie worden vaak geavanceerde post-productietechnieken gebruikt, om films te maken tegen een veel lagere kostprijs dan met extra opnames of het inhuren van echte acteurs en figuranten [1]. Een belangrijk probleem tijdens die post-productiefase is het bewerken of herbelichten van voorwerpen of actoren in een scene, teneinde een fotorealistisch resultaat te bekomen. De moeilijkheid van dit probleem ligt in het simultaan schatten van materialen en belichting in een scene onder willekeurige omstandigheden. Dit wordt nog steeds beschouwd als een open probleem [2]. Hoewel er wat vooruitgang is geboekt onder buitenlicht [3, 4, 5, 6], worden veel filmscenes echter opgenomen in studio's, waar een deel van de belichting zich ook in de scene kan bevinden. Een voorbeeld hiervan zijn scenes die zich in een huis of kantoor lijken af te spelen, maar die op de set met een decor zijn voorgesteld. Het is moeilijk om tot een bruikbare herbelichtingsoplossing te komen voor de filmindustrie, die willekeurige lichtbronnen ondersteunt. Huidige her- belichtingsalgoritmen zijn bovendien erg rekenintensief, waardoor er in de orde van uren moet gewacht worden om het resultaat te zien. Real-time algoritmen om een benaderend voorbeeld van de herbelichting te genereren, zouden een aanzienlijke tijdswinst opleveren. Dergelijke algoritmen zouden tevens regisseurs een goed idee kunnen geven van het eindresultaat tijdens de opnames. Traditioneel wordt digitale video beschouwd als een reeks vlakke rasterafbeeldingen, bestaande uit pixels met kleurwaarden. Die videodata is structuurloos en losgekoppeld van de opgenomen scene. Dat het zeer moeilijk is om bepaalde taken uit te voeren zonder extra informatie over de inhoud van een beeld, blijkt uit de talloze publicaties rond o.a. diepteschatting [7], objectherkenning [8], object tracking [9], gezichtsherkenning [10], herbelichting [11, 12, 13, 14, 15, 16], etc. . .Voor fundamentele taken zoals bijvoorbeeld randdetectie, wordt een aanvaardbaar performantieniveau bereikt, maar op alle complexere beeldverwerkingstaken presteert een mens nog altijd vele malen beter dan een computer[17, 18]. Een groot deel van de huidige technieken in beeldverwerking vertonen slechts weinig gelijkenissen met de processen waarmee beelden in het menselijk brein verwerkt en geinterpreteerd worden [18]. Digitale video is geschikt om fotorealistische beelden te capteren, maar beperkt door wat er kan worden gefilmd met een vast of enkelvoudig camerastandpunt. Typisch worden eenvoudige bewerkingsoperaties toegepast, maar na opname blijven het standpunt en de belichting invariant. Computer graphics (CG) beelden anderzijds, laten toe om volledig geanimeerde, vrij navigeerbare, wijzigbare en herbelichtbare scenes te creeeren. CG-technieken worden in films vaak toegepast voor special effects. Dit blijkt uit de vele bedrijven die zich hierop richten en specialiseren, zoals bijvoorbeeld Industrial Light & Magic en Pixar. Het grote nadeel is echter dat het grotendeels manueel construeren van gedetailleerde omgevingen zeer arbeidsintensief is. Bovendien hebben handmatig gemodelleerde scenes vaak last van de uncanny valley, waarbij iets dicht tegen de realiteit aanleunt maar toch niet als werkelijk wordt ervaren[19]. Er is nood aan een oplossing die meer structuur van de scene behoudt, zodat de voordelen van digitale video en CG kunnen gecombineerd worden. Hierbij moet een goed compromis gevonden worden op het spectrum van beeldgebaseerde tot geometrische methoden [20]. Een probleem voor games die op films gebaseerd worden, is dat er niet veel beeldmateriaal kan worden overgenomen van de oorspronkelijke productie. Vaak moeten alle in-game modellen van de omgevingen en karakters opnieuw worden gemodelleerd. Nieuwe algoritmen om karakters en scenes uit te wisselen en correct te herbelichten, zouden de productiegrens tussen interactieve en passieve media doen vervagen. Echt interessant wordt het als we dergelijke technologie niet beperken tot het toepassen ervan in grote filmstudio's, maar tot in de huiskamer brengen of zelfs mobiel maken. Op dit vlak zijn er al heel wat ontwikkelingen geweest met behulp van de Microsoft Kinect [21]. Augmented reality toepassingen zouden goed gebruik kunnen maken van betere algoritmen om synthetische objecten op een realistische wijze met echte beelden te integreren. Een voorbeeld hiervan is een GPS-systeem dat de route geprojecteerd weergeeft op de voorruit van een auto.

01 januari 2013 - 31 december 2016