VL-SensorIDE
Vision-Language Modelを自然言語で定義可能な仮想センサとして活用するIDEについての研究です。既存センサの代替だけでなく、抽象的な事は抽象的なまま、主観的な事は主観的な言葉で思いつくままにセンサを作成できます。プロトタイピング用途としてや、技術者でない人でもセンサを用いたアプリケーションを作成出来るようになります。
以下は論文内のアブストラクトです。
”本研究は，VLMをユーザがプロンプトで再定義できる仮想センサとして活用し，そのままアプリコードへ配線できるIDE「VL-SensorIDE」を提案する．ユーザは，測定値のフィードバックを見ながら「食事の進行度を0–1で返す」といった記述を試行錯誤しながら修正し，新たなセンサを構築できる．これにより，物理センサの設置が困難な対象や，従来の認識モデルでは実装コストが高かった主観的基準・抽象的事象の測定が可能となる．8名の評価では20分で53件の多様なセンサが作成された．本研究の成果は， VLMを仮想センサとしてコーディング環境に直結させることで，センシングの対象を拡張し，その設計と実装の自由度を高める点にある．”
Video
UI
