日常の壁や家具、さらには衣服までもが仮想ディスプレイスクリーンへと変わる——ライス大学とアリゾナ大学の研究者らが開発した新しい計算イメージング手法は、つや消し表面を利用して機械が3次元シーンを驚異的な速度と精度で再構築することを可能にする。この技術は『Nature Communications』誌に発表され、現在のマシンビジョンが抱える重大な弱点、すなわちつや消し物体と反射性物体が混在する動的な環境を正確に捉えられないという問題に対処する。レーザー光をつや消し表面に投影し、高速な神経形態イベントカメラを用いることで、システムはフルフレームではなく光強度の変化を記録し、厳しい照明条件や動く被写体に対しても性能を劇的に向上させる。このブレークスルーは、自動運転や産業検査、顔認識、人間センシングなどの応用に大きな進展をもたらす可能性を秘めている。
従来の3Dイメージングが抱える課題とその突破
既存の3Dイメージングシステムの大半は構造化光に依存しており、シーンにパターンを投影し、そのパターンが物体表面でどのように歪むかを測定して深度マップを生成する。しかし、これらのシステムは動きや強い照明、あるいはつや消し素材と反射性素材が混在するシーンではしばしば性能を発揮できない。混合反射環境では、表面間で光が跳ね返ることで測定値が歪み、画質が低下する。新たな手法は、問題の原因となっていたつや消しの壁や衣服、家具といった表面そのものを、反射性物体にレーザーポイントを投影する仮想スクリーンとして再利用することで、これらの障害を克服する。
デフレクトメトリーの再発明
ライス大学ジョージ・R・ブラウン工学・計算スクールの電気・コンピュータ工学科長であるアショク・ヴィーララガヴァン氏は、研究チームがコンピュータビジョンにおける既知の手法であるデフレクトメトリーを活用したと説明する。これは、投影された光パターンの反射時の歪みを観察することで、光沢のある表面の形状を測定する技術だ。従来のデフレクトメトリーでは、大型で注意深く配置されたスクリーンが必要であり、そのプロセスは高価で柔軟性に欠けていた。研究者らは、シーン内にすでに存在するつや消し表面にレーザー光を投影することで、特殊な機器を不要にし、あらゆる部屋を機能的なイメージング環境に変えた。
システムの仕組み：レーザースキャンと神経形態センシング
イメージングプロセスは2段階で進行する。まず、レーザーが壁、衣服、家具などのつや消し表面をスキャンし、それらの表面の精密な3Dマップを作成する。レーザーポイントが光沢のある物体に反射すると、周囲のつや消し表面が仮想ディスプレイスクリーンとして効果的に再利用される。この点について、ヴィーララガヴァン研究室の大学院生で本研究の筆頭著者であるアニケット・ダシュプテ氏が詳述している。次に、神経形態イベントカメラが、フル画像フレームをキャプチャするのではなく光強度の変化を記録し、高速な3Dビデオを再構築する。このカメラは非常に暗い状態から非常に明るい状態までさまざまな光レベルに対応可能であり、アリゾナ大学ワイアント光学科学大学院の博士研究員で論文の第二著者であるジャジャン・ワン氏によれば、シーン内のすべての物体表面を反射率のばらつきに関わらず同等の高精度と速度で測定できるという。
イベントベースイメージングがもたらす優位性
レーザースキャンとイベントベースイメージングの組み合わせは、従来の3Dセンシングからの大きな転換を意味する。標準的なカメラでは素早い動きや極端な照明のコントラストに圧倒される一方、イベントカメラは変化のみをキャプチャするため、データ負荷が軽減され時間分解能が向上する。これにより、本システムは、ミリ秒単位が重要となるリアルタイムアプリケーションに特に適している。
多岐にわたる産業応用の可能性
この進歩は、いくつかの重要分野におけるマシンビジョンを変革する可能性がある。自動運転車では、複雑な反射条件や混合照明下で歩行者、他車両、路面を正確に認識する能力が安全なナビゲーションにとって極めて重要だ。産業検査では、メーカーが現在のスキャナーでは捉えられない光沢のある金属部品や透明表面の欠陥を検出できるようになる。顔認識システムは、多様な環境でのより堅牢な深度センシングの恩恵を受ける一方、ジェスチャー認識や健康モニタリングなどの人間センシング応用は、本手法の速度と精度から恩恵を得るだろう。
顕微鏡スケールから建築スケールまでの拡張性
現時点ではテーブルトップの実験室環境でのみ実証されているが、研究者らはこのアプローチが本質的に拡張可能であると強調する。共同研究者であるアリゾナ大学ワイアント光学科学大学院の准教授フロリアン・ウィロミッツァー氏は、拡張性は3Dイメージングにとって極めて重要な要件だと説明する。同じ手法は、手術中の微小な反射性血管の測定や、部屋や建物全体のデジタル化にも応用可能であり、異なるスケールや環境での柔軟性を提供する。この多用途性は、将来的にハンドヘルド機器への小型化や大規模建築スキャンへの拡張が可能であることを示唆している。