情報処理学会 第88回全国大会

2ZG-06
仮想環境での利用を前提とした現実環境のビジュアル変換に関する研究
○原田尚実,寺澤卓也(東京工科大)
本研究では、現実環境のビジュアル変換を念頭にユーザの自然言語によるリクエスト入力から生成AIを用いて統一感のあるMixed Reality(MR)空間を構成することを試みた。まず、GPTに光源・構図・素材表現などの補完指示を与え、ユーザの入力を背景と3Dオブジェクトを生成する2つの生成AIに適した形式へ整形する。画像生成AIでは壁・床・天井などの空間要素ごとに画像を生成し、3Dオブジェクト生成AIではGLB形式の3Dモデルを生成、Unity上のMR環境へ自動配置する。これにより、ユーザによる調整操作を介さずに複数AI間で統一された世界観を保ち、整合性の高いMR生成パイプラインを実現した。