Новый метод вычислительной визуализации, разработанный исследователями из Университета Райса и Аризонского университета, превращает обычные матовые поверхности — стены, мебель и одежду — в виртуальные дисплейные экраны. Это позволяет машинам реконструировать трехмерные сцены с исключительной скоростью и точностью. Технология, описанная в журнале Nature Communications, устраняет критический недостаток современных систем машинного зрения: их неспособность точно захватывать динамические среды, содержащие как матовые, так и отражающие объекты. Проецируя лазерный свет на неотражающие поверхности и используя высокоскоростную нейроморфную событийную камеру, система фиксирует быстрые изменения интенсивности света, а не полные кадры, что значительно улучшает производительность в сложных условиях освещения и при движущихся объектах. Это достижение может кардинально продвинуть такие области, как автономное вождение, промышленный контроль, распознавание лиц и датчики человека.
Инновационный подход решает давнюю проблему машинного зрения
Большинство существующих систем 3D-визуализации полагаются на структурированный свет, проецирующий узоры на сцену и измеряющий их деформацию на поверхностях объектов для создания карт глубины. Однако эти системы часто дают сбои при наличии движения, яркого освещения или смеси матовых и отражающих материалов. В таких средах со смешанной отражательной способностью свет, отражающийся между поверхностями, искажает измерения и ухудшает качество изображения. Новый метод преодолевает эти препятствия, перепрофилируя сами проблемные поверхности — матовые стены, одежду и мебель — в виртуальные экраны, которые отражают проецируемые лазерные точки на блестящие объекты.
Принцип работы: лазеры и нейроморфное зондирование
Процесс визуализации состоит из двух этапов. Сначала лазер сканирует матовые поверхности, такие как стены, одежда и мебель, создавая точные 3D-карты этих поверхностей. Когда лазерные точки отражаются от блестящих объектов, система эффективно использует окружающие матовые поверхности как виртуальные дисплейные экраны. Это объяснил Аникет Дашпут, аспирант лаборатории Веерарагхавана и первый автор исследования. На втором этапе нейроморфная событийная камера, которая записывает изменения интенсивности света вместо захвата полных кадров изображения, восстанавливает высокоскоростные 3D-видео. Эта камера может работать при самых разных уровнях освещения — от очень тусклого до чрезвычайно яркого, — что позволяет измерять все поверхности объекта с одинаково высокой точностью и скоростью, независимо от различий в отражательной способности, отметил Цзячжан Ван, постдокторант из Аризонского университета и второй автор статьи.
«Дефектометрия в новом исполнении»
Ашок Вирарагаван, заведующий кафедрой электротехники и вычислительной техники в Школе инженерии и вычислительной техники Джорджа Р. Брауна при Университете Райса, пояснил, что команда использовала хорошо известный метод компьютерного зрения, называемый дефектометрией. Этот метод измеряет форму блестящих поверхностей, наблюдая за искажениями проецируемых световых узоров при отражении. Традиционно дефектометрия требует больших, тщательно расположенных экранов, что делает процесс дорогим и негибким. Проецируя лазерный свет на уже имеющиеся в сцене матовые поверхности, исследователи устранили необходимость в специализированном оборудовании, превратив любую комнату в функциональную среду для визуализации.
Потенциальное применение и масштабируемость
Этот прорыв может трансформировать машинное зрение в нескольких ответственных областях. Для автономных транспортных средств способность точно воспринимать пешеходов, другие автомобили и дорожное покрытие в условиях смешанного освещения и сложных отражающих свойств имеет решающее значение для безопасной навигации. В промышленном контроле производители могут использовать методику для обнаружения дефектов на блестящих металлических деталях или прозрачных поверхностях, которые ускользают от стандартных сканеров. Системы распознавания лиц могут выиграть от более надежного измерения глубины в различных средах, а датчики человека — такие как распознавание жестов или мониторинг здоровья — получат преимущество от скорости и точности метода.
Хотя технология была продемонстрирована только в лабораторных условиях на настольном стенде, исследователи подчеркивают, что подход по своей сути масштабируем. Как объяснил Флориан Вилломитцер, доцент Аризонского университета и соавтор исследования, масштабируемость является критическим требованием для 3D-визуализации. Тот же метод может быть адаптирован для измерения крошечных отражающих кровеносных сосудов во время хирургических операций или для оцифровки целых комнат и зданий. Такая универсальность предполагает, что в будущем технику можно будет миниатюризировать для портативных устройств или расширить для крупномасштабного архитектурного сканирования.