Een revolutionaire beeldvormingsmethode ontwikkeld door wetenschappers van Rice University en de University of Arizona verandert alledaagse matte oppervlakken – zoals wanden, kleding en meubilair – in virtuele schermen. Hierdoor kunnen machines driedimensionale taferelen met uitzonderlijke snelheid en precisie in kaart brengen. De techniek, die deze week verscheen in Nature Communications, lost een cruciale beperking van bestaande machinevisie op: het onvermogen om dynamische omgevingen met zowel matte als reflecterende voorwerpen correct vast te leggen. Door laserlicht te projecteren op niet-reflecterende oppervlakken en een ultrasnelle neuromorfe eventcamera in te zetten, registreert het systeem alleen veranderingen in lichtintensiteit in plaats van volledige beeldframes. Dat levert een aanzienlijke verbetering op bij lastige lichtomstandigheden en wanneer onderwerpen in beweging zijn.
Langdurige uitdaging in machinevisie aangepakt
De meeste bestaande 3D-beeldvormingsystemen maken gebruik van gestructureerd licht: ze projecteren patronen op een scène en meten hoe die patronen vervormen over objectoppervlakken om dieptekaarten te maken. Hoewel deze systemen wijdverbreid zijn, hebben ze vaak moeite met beweging, fel licht of scènes die een mix van matte en reflecterende materialen bevatten. In dergelijke gemengde omgevingen verstoren lichtreflecties tussen oppervlakken de metingen en verslechtert de beeldkwaliteit. De nieuwe methode overwint deze obstakels door juist de oppervlakken te gebruiken die voor problemen zorgden – matte muren, kleding en meubels – en ze om te vormen tot virtuele schermen die laserpunten weerkaatsen naar glimmende objecten.
Deflectometrie in een nieuw jasje
Ashok Veeraraghavan, voorzitter van de afdeling Elektrotechniek en Informatica aan de Rice University's George R. Brown School of Engineering and Computing, legde uit dat het team een bekende techniek uit de computer vision gebruikte: deflectometrie. Die meet de vorm van glanzende oppervlakken door te observeren hoe geprojecteerde lichtpatronen vervormen bij reflectie. Traditioneel vereist deflectometrie echter grote, zorgvuldig geplaatste schermen, wat het duur en inflexibel maakt. Door laserlicht op bestaande matte oppervlakken in een scène te projecteren, elimineerden de onderzoekers de noodzaak van gespecialiseerde apparatuur en maakten ze van elke ruimte een functionele beeldvormingsomgeving.
Werking met lasers en neuromorfe sensoren
Het beeldvormingsproces verloopt in twee stappen. Eerst scant een laser matte oppervlakken zoals muren, kleding en meubels om precieze 3D-kaarten van die oppervlakken te maken. Wanneer laserpunten reflecteren van glanzende objecten, worden de omringende matte oppervlakken effectief omgevormd tot virtuele displayschermen, zoals Aniket Dashpute, een promovendus in het laboratorium van Veeraraghavan en eerste auteur van de studie, uitlegde. In de tweede stap reconstrueert een neuromorfe eventcamera – die alleen veranderingen in lichtintensiteit registreert in plaats van volledige beeldframes – hogesnelheids-3D-video's. Deze camera kan zeer uiteenlopende lichtniveaus aan, van zeer donker tot extreem helder, waardoor alle objectoppervlakken in een scène met even hoge nauwkeurigheid en snelheid kunnen worden gemeten, ongeacht variaties in reflectiviteit, aldus Jiazhang Wang, postdoctoraal onderzoeker aan de Wyant College of Optical Sciences van de University of Arizona en tweede auteur van het artikel.
Een fundamentele breuk met conventionele 3D-detectie
De combinatie van laserscanning en event-gebaseerde beeldvorming betekent een significante afwijking van traditionele 3D-sensing. Waar standaardcamera's overweldigd zouden worden door snelle bewegingen of extreme lichtcontrasten, legt de eventcamera alleen veranderingen vast, wat de datalast vermindert en de temporele resolutie verhoogt. Dit maakt het systeem bijzonder geschikt voor realtime toepassingen waar elke milliseconde telt.
De potentiële toepassingen zijn talrijk en strekken zich uit over verschillende hoogwaardige sectoren. Voor autonome voertuigen is het vermogen om voetgangers, andere auto's en wegdekken accuraat waar te nemen in gemengde lichtomstandigheden en complexe reflectieve situaties cruciaal voor veilige navigatie. In de industriële inspectie kunnen fabrikanten de techniek gebruiken om defecten op glimmende metalen onderdelen of transparante oppervlakken te detecteren die momenteel aan standaardscanners ontsnappen. Gezichtsherkenningssystemen kunnen profiteren van robuustere dieptewaarneming in uiteenlopende omgevingen, terwijl mensdetectietoepassingen – zoals gebarenherkenning of gezondheidsmonitoring – kunnen winnen aan snelheid en precisie.
Hoewel de technologie tot nu toe alleen is gedemonstreerd in een laboratoriumopstelling op tafelformaat, benadrukken de onderzoekers dat de aanpak inherent schaalbaar is. Florian Willomitzer, universitair hoofddocent aan de Wyant College of Optical Sciences en medewerker aan het onderzoek, wees erop dat schaalbaarheid een cruciale vereiste is voor 3D-beeldvorming. Dezelfde methode kan worden aangepast om kleine reflecterende bloedvaten tijdens operaties te meten of om volledige kamers en gebouwen te digitaliseren, wat de flexibiliteit biedt om op zeer verschillende schalen en in uiteenlopende omgevingen te werken. Deze veelzijdigheid suggereert dat de techniek uiteindelijk kan worden geminiaturiseerd voor draagbare apparaten of uitgebreid voor grootschalige architecturale scanning.