話せば変わるGUI
ユーザの不満を反映した自然言語処理によるGUI自動修正システム


base data

|制作用途・種類
B3春学期の研究活動

|研究期間
5か月

|使用言語
JavaScript

|公表日
2023/08/23

|研究活動について
4月から宮下研究室に本配属となり研究活動を始めました。 4月~5月の期間で先生や先輩方と議論を重ね、テーマを決め、6月~7月にシステム実装と論文執筆を行いました。 7月に学会発表の参加を決め、論文提出とパンフレット用スライドの提出、ポスターとデモ動画の作成を行い、2023年8月30日~9月2日に東京工科大学八王子キャンパスで行われたEC2023でデモ発表を行いました。 様々な人に自分の研究を見てもらい、活発な議論をすることができました。


研究詳細

|論文情報
雑誌名:エンタテインメントコンピューティングシンポジウム2023論文集
巻:2023
ページ:415 - 418
URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=227528&item_no=1&page_id=13&block_id=8
発行年:2023-08-23
出版社:情報処理学会

|概要
ソフトウェアの使い方はユーザごとに様々であり状況によっても変化するため,それに応じてGUIも柔軟である必要があると考えられる.そこで,ソフトウェアが「気遣い」としてユーザの状況に合わせて主体的にGUI を変更する環境が必要であると考えた. 本稿では,ユーザがソフトウェアを使いながらそのGUIに対しての不満を声や文字で伝えることで,GUIをその場で自動修正するシステムを試作した. 例えば,機能が選びづらいと伝えれば,各機能のボタンや選択リストを大きくする,機能が分かりづらいと伝えれば機能の説明を加えるなどである. システムの実装においてはGPT-4 を用い,不満の理解,解決法の立案,ソフトウェアのスクリプトの修正といった一連の作業をすべて行わせている.




デモ動画



←back