Visual Computing

Virtual reality, 360°-videocaptaties en computeranimaties: in deze onderzoekslijn brengen we de domeinen computer graphics en beeldverwerking samen onder één vlag. Beelden creëren vanuit een 2D- of 3D-model of - omgekeerd - modellen destilleren uit camerabeelden: in Visual Computing bundelen en combineren we die expertises.

Nieuws

Video miniatuur "MAX-R Introduction" MAX-R

Het MAX-R project stelt zichzelf voor

Video miniatuur "Dag van de Wetenschap: Virtueel op stap door de wereld van lichtvelden" Wetenschapscommunicatie

We gingen virtueel op stap door de wereld van lichtvelden op Dag van de Wetenschap

Impressie van de blogpost "Wat zijn omnidirectionele camera’s en voor welke toepassingen zijn ze nuttig?" Wetenschapscommunicatie

Wat zijn omnidirectionele camera’s en voor welke toepassingen zijn ze nuttig?

Video thumbnail "XR@Work" XR@Work

VLAIO deelt korte introductie tot het XR@Work-project

Video miniatuur "Immersive technologie voor de voedingsindustrie" AR4Industry

AR for Industry 4.0 in Z-Food aflevering rond immersive technology

Pers filmt en fotografeert Jeroen tijdens AR demo in het XR-huis XR-huis

Pers bezoekt XR-huis

Vergelijking van een foto (links) en zijn synthetische tegenhanger (rechts) Dataset

Dataset van Industriële Metalen Voorwerpen vrijgegeven

Projecten

Logo MAX-R MAX-R

MAX-R

MAXVR-INFRA MAXVR-INFRA

MAXVR-INFRA

Resizer (8) Voka DigiHub

Voka DigiHub

XR-Huis XR-huis

XR-huis

XR@work XR@Work

XR@Work

AR for Industry 4.0 AR4Industry

AR for Industry 4.0

Logo IMPACT IMPACT

IMPACT

Publicaties

Impressie van de publicatie "A novel simulated annealing trajectory optimization algorithm in an autonomous UAVs-empowered MFC system for medical internet of things devices" Springer WN

A novel simulated annealing trajectory optimization algorithm in an autonomous UAVs-empowered MFC system for medical internet of things devices

Impressie van de publicatie "Feature Correlation Transformer for Estimating Ambiguous Optical Flow" Springer NPL

Feature Correlation Transformer for Estimating Ambiguous Optical Flow

Impressie van de publicatie "Target Detection and Recognition for Traffic Congestion in Smart Cities Using Deep Learning-Enabled UAVs: A Review and Analysis" MDPI

Target Detection and Recognition for Traffic Congestion in Smart Cities Using Deep Learning-Enabled UAVs: A Review and Analysis

Impressie van de publicatie "CAD2Render: A Modular Toolkit for GPU-accelerated Photorealistic Synthetic Data Generation for the Manufacturing Industry" WACVW

CAD2Render: A Modular Toolkit for GPU-accelerated Photorealistic Synthetic Data Generation for the Manufacturing Industry

Impressie van de publicatie "Analysis of Training Object Detection Models with Synthetic Data" BMVC

Analysis of Training Object Detection Models with Synthetic Data

Impressie van de publicatie "Detecting Tool Keypoints with Synthetic Training Data" ROBOVIS

Detecting Tool Keypoints with Synthetic Training Data

Impressie van de publicatie "ClueDepth Grasp: Leveraging positional clues of depth for completing depth of transparent objects" Frontiers Neurorobotics

ClueDepth Grasp: Leveraging positional clues of depth for completing depth of transparent objects

Impressie van de publicatie "Design and calibration of curved and see-through integral imaging 3D display" Springer VR

Design and calibration of curved and see-through integral imaging 3D display

Impressie van de publicatie "Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System" CVMP

Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System

Impressie van de publicatie "Real-time Detection of 2D Tool Landmarks with Synthetic Training Data" ROBOVIS

Real-time Detection of 2D Tool Landmarks with Synthetic Training Data

Wijle Philippe druk in de weer met een mengpaneel

Pionieren zit in ons bloed

Visual computing is het deeldomein van de informatica dat zich toelegt op de algoritmen, datastructuren en toepassingen van captatie, synthese, representatie, analyse, manipulatie, verspreiding en weergave van beeld en geluid op de computer. Daaronder zitten onder meer disciplines zoals computergrafiek (hoe kunnen we 3D-omgevingen gaan weergeven en manipuleren?), computervisie (hoe kan een computer een omgeving herkennen en interpreteren?) en beeldverwerking (hoe kunnen we een beeld omzetten naar een ander beeld zodat het beter geschikt is voor bepaalde taken?). Virtual Reality is daar een in het oog springende toepassing van. Al van bij de start van EDM focusten we op Computer Graphics. Dat combineerden we later met kennis in beeldverwerking, om vijftien jaar geleden al voluit te pionieren op vlak van Virtual Reality.

Rekenkracht in het kwadraat

De laatste jaren zijn we erg gaan focussen op het gebruik van elektronica voor graphics en beeldverwerking voor andere toepassingen. De rekenkracht van die graphics processing units (GPU) is zó gigantisch dat ze zeer rekenintensieve simulaties en artificiële intelligentietaken mogelijk maken. En de markt voor GPU's is immens. Denk maar aan alle computerspelletjes en virtual reality-toepassingen in de entertainmentindustrie. Dat heeft ervoor gezorgd dat deze mini-supercomputers heel betaalbaar zijn geworden.

Pionieren

VR-brillen zijn vandaag misschien dan behoorlijk mainstream, maar wij doen al sinds 2003 onderzoek naar 360-graden en holografische videocaptie en -verwerking voor deze brillen. Samen met externe partners - zoals theatergezelschap CREW en de VRT - verkenden wij met EDM al in een vroeg stadium van technologie-ontwikkeling mogelijke toepassingen. Dat was pionierswerk van de bovenste plank.

Een van de meest memorabele projecten die we realiseerden, is een opstelling die we in 2012 in het artiestenrestaurant van Pukkelpop bouwden: een projectiescherm van bijna 360 graden waarop live beelden getoond werden van een virtual reality-camera op het hoofdpodium van het festival. Artiesten zoals Björk gingen in die virtuele omgeving vóór hun show al eens de sfeer op het podium opsnuiven. Heerlijk was dat. Bovendien werden die beelden tijdens het festival ook drie dagen lang live uitgezonden via een webviewer die we ontwikkelden. Zo kon ook de thuisblijver het festival mee ervaren alsof hij er zelf bij was. Met dat project waren we de hype een hele tijd voor.

Van Pukkelpop naar het operatiekwartier

Vandaag bouwen we nog steeds 360-gradencamera's, maar de toepassingsdomeinen zijn wel veranderd. Je ziet dat stilaan ook andere industrieën het potentieel van VR proberen aan te boren. Samen met dLiveMed, een start-up uit Genk, bouwden wij bijvoorbeeld een platform om gedocumenteerde chirurgische technieken op het internet aan te bieden. We stellen onze 360-gradencamera's op in het operatiekwartier en kunnen op die manier operaties letterlijk van alle kanten bekijken en volgen. Voor de artsen en patiënten is deze manier van filmen bijzonder positief. Er lopen geen (camera)mensen in de operatiezaal, de camera's zijn makkelijk te ontsmetten, en de chirurg moet geen instructies geven aan de cameraploeg en kan zich daardoor voluit op de operatie concentreren.

EDM maakt videobeelden die de start-up op een tijdlijn monteert. Daar worden schetsen, 3D-scans en annotaties aan toegevoegd. Daarna worden ze op een online platform aangeboden. Ook dat platform hielpen we - samen met de collega's van NSS en onze spin-off Androme - mee realiseren. Via dat platform kunnen de beelden veel flexibeler gebruikt worden op congressen. De gebruikers kunnen, net zoals in het voetbal, acties herhalen en bekijken vanuit andere perspectieven.

Kansen en uitdagingen

De toepassingsmogelijkheden van Visual Computing zijn quasi onbeperkt. De technologieën die wij hier ontwikkelen en onderzoeken zijn relevant voor elke sector of discipline. Als onderzoeker blijf ik het ontzettend boeiend vinden om de kennis die we hier opbouwen heel concreet in te zetten in projecten met een duidelijke maatschappelijke en economische meerwaarde.

Uiteraard is EDM een academisch onderzoeksinstituut. Vanzelfsprekend leggen wij ons toe op basisonderzoek en publicaties. En uiteraard zijn we aanwezig op topcongressen. Dat is extreem belangrijk. Door op academisch vlak te excelleren, zijn we ook interessante samenwerkingen kunnen aangaan met wereldspelers als het Massachusetts Institute of Technology (MIT Boston), het Max-Planck-Instituut (Duitsland) en het National Institue of Information and Communications Technology (NICT Japan). En toch volstaat alléén maar academische excellentie niet voor ons.

Hoe kunnen we onze vaardigheden en expertise nog beter afstemmen op de noden van onze maatschappij? Hoe kunnen we ervoor zorgen dat academische onderzoeksoutput doorstroomt naar de industrie waar ze ook economisch een meerwaarde kunnen opleveren? Die vragen stellen we ons bij EDM continu. Jaren geleden beschikten we al over een uitstekend netwerk voor Europese en regionale collaboratieve O&O-projecten. En samenwerken met lokale en internationale bedrijven zit in ons bloed. Bij EDM gaat het om veel méér dan alleen maar publicaties. Wij willen met onze expertise het verschil maken, tot ver buiten de universiteitsmuren.

~ Wijlen prof. dr. Philippe Bekaert

In memoriam prof. dr. Philippe Bekaert (1967-2022)

Met grote droefheid melden we u het overlijden van professor dr. Philippe Bekaert, gewoon hoogleraar informatica aan de Universiteit Hasselt. Philippe overleed thuis, op 31 juli 2022 omgeven door zijn gezin.

Professor Bekaert vervoegde het Expertisecentrum voor Digitale Media op 1 augustus 2002, waar hij verantwoordelijk was voor de onderzoekslijn Visual Computing. In zijn exact 20 jarige loopbaan leidde hij de groep naar vele successen, gaande van verschillende belangrijke papers op toonaangevende computer graphics conferenties zoals Siggraph en CVPR, het oprichten van meerdere spin-off bedrijven die zijn verwezenlijkingen beschikbaar maakten voor de gemeenschap tot het inzetten van zijn onderzoek binnen de performance kunst en cultuur in samenwerking met het gezelschap Crew.

Hij was een vooraanstaand onderzoeker die veel belang hechtte aan bruikbare en inzetbare resultaten. Hij was een pionier op het gebied van hoge resolutie 360 graden video, immersieve beleving van virtual reality en performante verwerking van grote hoeveelheden beeldmateriaal. Professor Bekaert heeft ook zijn stempel gedrukt op het curriculum informatica waaronder de uitwerking van een uniek masterprofiel Visual Computing. Zijn interactieve lessen en onderwerpen voor bachelor- en masterproeven werden door de studenten zeer gesmaakt. Hij leverde een groot aantal doctoraatsstudenten in dit domein af en zorgde zo voor een blijvende impact die meerdere generaties overschrijdt.

Philippe laat een echtgenote, Annelies, en drie dochters, Lotte, Fien en Eva, na. Onze gedachten zijn bij zijn familie en we wensen hun veel sterkte in deze moeilijke dagen. Wij zijn dankbaar voor zijn inzet en bijdragen aan het Expertisecentrum voor Digitale Media, en hopen dat de onmiskenbare impact die hij had op onze groep van onderzoekers en studenten een klein beetje troost kan bieden.