TETRA Parallax
Kostenefficiënte, fotorealistische 3D content creatie via Artificiële Intelligentie
Voor dit project zal de Visual Computing onderzoeksgroep van het Expertise Centrum voor Digitale Media (EDM) in samenwerking met PXL BIO Research hun expertise aanwenden om kostenefficiënte 3D content creatie mogelijk te maken via Artificiële Intelligentie. EDM is betrokken vanuit hun jarenlange expertise in de domeinen Computer Graphics en Machine learning. PXL draagt voor dit project onmisbare kennis bij voor het fotorealistisch visualiseren en analyseren van landschappen via onder andere drone beelden.
Meer info onder de video 👇🏼
Ontdek Nieuwe Dimensies met Novel-View Synthesis
Dankzij virtuele 3D-ervaringen kunnen we de wereld op een geheel nieuwe manier beleven. Het creëren van overtuigende en meeslepende virtuele 3D-werelden is echter voorbehouden aan getalenteerde 3D-artiesten na veel handmatig werk. Hoewel (360-)graden camera's ons toestaan om een fysieke wereld digitaal vast te leggen, beperken de belevingen die uit zulke foto’s en video’s voortvloeien gebruikers tot het innemen van de standpunten van die camera's. Deze ervaringen missen het essentiële element van verkenning dat nodig is om het gevoel te hebben daadwerkelijk aanwezig te zijn op een bepaalde plek—of het nu gaat om games waarin we de hoofdrol spelen, sport- of concertstreams die ons midden in de actie plaatsen, films waarin we de held zijn, of Virtual Reality ervaringen die ons meenemen naar nieuwe werelden.
Een Revolutionaire Doorbraak
Parallax is een tweejarig project dat deze uitdaging aanpakt via novel-view synthesis. Deze recente technologie heeft de afgelopen jaren een enorme revolutie veroorzaakt in computer visie/graphics met doorbraken als Multi-Plane Images, Neural Radiance Fields (NeRF) en 3D Gaussian Splatting gebruiken een reeks foto's of video's van gewone camera's en leert met geavanceerde deep learning-algoritmen hoe de wereld eruitziet vanuit elk mogelijk standpunt. Hierdoor kan het de vastgelegde wereld of gebeurtenis fotorealistisch visualiseren vanuit elke mogelijke hoek, Dit stelt gebruikers in staat de virtuele wereld vrij te verkennen dankzij fotorealistische visualisatie.
Deze technologie opent een wereld van kansen voor verschillende sectoren:
Vastgoed
Virtuele verkenning van panden vanuit elke hoek met realistische reflecties van materialen.
Sportevenementen en Concerten
Evenementen weergeven vanuit de perfecte hoek, zonder beperkt te zijn tot de camerastandpunten zodat kijkers het evenement beleven alsof ze er daadwerkelijk bij zijn.
Virtuele Productie
Creatie van meeslepende, fotorealistische virtuele omgevingen voor films, games en Virtual Reality met volledige vrijheid in camerabewegingen.
Defectdetectie en Industrie
Inspecties vanop afstand alsof u er fysiek aanwezig bent, wat tijd en kosten bespaart. Drone beelden kunnen helpen om moeilijk bereikbare plaatsen veilig en kostenefficiënt te inspecteren.
Digitale Erfgoedbewaring
Vastleggen en wereldwijd toegankelijk maken van historische locaties en artefacten met oog voor alle details.
Retail
Producten virtueel vanuit elke mogelijke hoek visualiseren, wat bijdraagt aan weloverwogen aankoopbeslissingen.
Onze aanpak in het Parallax project
Ondanks het veelbelovende potentieel is het omzetten van beelden of video's in meeslepende, nauwkeurige 3D-reconstructies nog steeds een uitdaging. De Visual Computing-groep van UHasselt-Expertisecentrum voor Digitale Media neemt al meer dan twee decennia een pioniersrol in binnen dit domein via baanbrekend onderzoek. Via het Parallax project zetten we deze expertise in om deze technologie toegankelijk te maken voor Vlaamse bedrijven en creatieve professionals.
Hardware
We onderzoeken drie soorten opstellingen in het Parallax project:
- Eenvoudige opstelling voor statische scènes: We gebruiken één enkele camera om statische scènes vanuit meerdere hoeken vast te leggen. Dit is de meest toegankelijke methode en ideaal voor eenvoudige toepassingen.
- VR-belevingen met camera rig: Om fysieke belevingen met bewegende elementen te capteren, volstaat een enkele camera niet om de bewegingen in een enkele tijdsstap vanuit meerdere kijkpunten te capteren. Daarom is de bouw van een zgn. camera rig nodig waarop meerdere, tijds-gesynchroniseerde naar buiten gerichte camera's worden gemonteerd om dynamische belevingen op te nemen die vervolgens in volledige bewegingsvrijheid virtueel kunnen worden beleefd.
- Evenementencaptatie met meerdere camera's: We ontwikkelen opstellingen om volledige evenementen vast te leggen met meerdere camera's, waardoor we dynamische en complexe scènes kunnen reconstrueren.
Software
Het voorbereiden van opgenomen beelden voor verwerking door machine learning-algoritmen is niet vanzelfsprekend en vereist stappen zoals camera-calibratie. Via een modulaire pipeline waarin nieuwe state-of-the-art algoritmen en componenten kunnen worden geïntegreerd vereenvoudigen we het proces van het uploaden van beelden tot het exporteren van de gewenste beelden naar uw favoriete 3D-modelleringssoftware voor verdere bewerking.
Kennisdeling
TETRA is VLAIO een programma voor praktijkgericht onderzoek door hogescholen en universiteiten voor ondernemingen en non-profitorganisaties. Op basis van de opgedane kennis organiseren we workshops en schrijven we een uitgebreide handleiding. Ons doel is u te leren hoe u optimaal aan de slag kunt gaan met deze nieuwe technologie en er het maximale uit kunt halen.
Doe mee en profiteer van deze revolutionaire technologie
- Mis deze unieke kans niet om deze technologische vooruitgang vanop de eerste rij mee te volgen. Door u aan te sluiten bij de gebruikersgroep van dit project, kunt u de voordelen van novel-view synthesis benutten en uw concurrentiepositie versterken.
- Conform de voorwaarden van de subsidiegever, VLAIO, vragen we van deelnemers in de gebruikersgroep een kleine financiële bijdrage, die zich situeert rond €2000 à €4000. Hiermee toont u uw engagement voor het project. In ruil hiervoor bent u direct betrokken tijdens de volledige looptijd van het project en krijgt u als een van de eersten zicht op de resultaten.
- Dit is het ideale moment om een virtuele 3D-aanwezigheid voor uw bedrijf te creëren. Toon uw klanten en doelgroep dat u voorop loopt in innovatie. Wij staan klaar om u te ondersteunen bij elke stap op deze innovatieve reis.
Voor meer info: meld u aan via dit formulier.