JST Top ASPIRE Project
"Deep Sensing: Jointly optimizing sensing and processing for CV/AI applications"

本研究は、従来の深層学習が行なってきたデジタル層でのモデル最適化のみならずセンシングハードウェアのパラメータや設計を含んだパイプライン全体を最適化するディープセンシングの枠組みの一般化と、あらゆるコンピュータビジョン(CV)や人工知能(AI)アプリケーションによる実証を目的とする。具体的には、日本側および米国、カナダの3カ国におけるコンピュテーショナルフォトグラフィ(CP)およびCVの専門家によるチーム研究により、様々な画像認識や推定タスクにおいて最適な画像センシング手法を学習によって獲得することで、通常のカメラに対して著しい性能向上を実現する。3カ国を跨いだ国際的なチーム研究を通して、このハードウェアとソフトウェアの同時最適化を行うディープセンシングの枠組みの深化と研究領域への一般化、およびあらゆるCV/AIアプリケーションへの広い適用を実現する。また、頭脳循環の促進のために、若手人材を中心とした国際共同研究やワークショップなどの国際活動を通して、次世代の若手研究者の国際ネットワークの形成を支援する。

This collaborative research aims to generalize the "deep sensing" framework, which jointly optimizes both sensing and processing, and demonstrate its feasibility and efficiency across a wide range of computer vision and AI applications. Our team comprises leading research groups in Computational Photography and Computer Vision. We collaboratively develop a new computational camera system and apply it to various downstream computer vision tasks to achieve high accuracy, low data acquisition requirements, and reduced computational costs. Through our joint efforts, we aim to establish the "deep sensing" framework as a standard approach in the computer vision and AI communities. Additionally, by promoting collaborative and complementary research and encouraging researcher mobility, this project seeks to strengthen international research networks between the US/Canada and Japan.

2026/03/03: We will hold a kickoff symposium at the University of Osaka on April 6, 2026!