イベント企画
トップコンファレンス7-2 マルチメディア
9/15 13:10-15:40
第4イベント会場

座長: 西村 竜一(情報通信研究機構)

13:10-13:30 講演(1) 【タイトル邦題】 ロボットマネキンによるリアルタイムバーチャル試着システム
Chong Toby(東京大学 情報理工研究科創造情報専攻五十嵐研究室 博士2年生)
【原発表の書誌情報】 Toby Chong, I-Chao Shen, Umetani Nobuyuki, Takeo Igarashi, Per Garment Capture and Synthesis for Real-time Virtual Try-on, Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology, 2021
【概要】 Virtual try-on is a promising application of computer graphics and human computer interaction that can have a profound real-world impact especially during this pandemic. Existing image-based works try to synthesize a try-on image from a single image of a target garment, but it inherently limits the ability to react to possible interactions. It is difficult to reproduce the change of wrinkles caused by pose and body size change, as well as pulling and stretching of the garment by hand.<br />In this paper, we propose an alternative per garment capture and synthesis workflow to handle such rich interactions by training the model with many systematically captured images. Our workflow is composed of two parts: garment capturing and clothed person image synthesis. We designed an actuated mannequin and an efficient capturing process that collects the detailed deformations of the target garments under diverse body sizes and poses.<br />Furthermore, we proposed to use a custom-designed measurement garment, and we captured paired images of the measurement garment and the target garments. We then learn a mapping between the measurement garment and the target garments using deep image-to-image translation. The customer can then try on the target garments interactively during online shopping.
【略歴】 I am a 2nd year PhD student at the University of Tokyo, under the supervision of Takeo Igarashi. My research centers around interactive experiences, virtual and augmented reality. <br />I received my MSc in Creative Informatics working with Takeo Igarashi and BEng in Electrical Engineering working with Koji Yatani, both from the University of Tokyo. <br />Currently I am working on realistic cosmetic reproduction for virtual makeup, but I have worked on a mix of HCI/CG/ML projects. <br />Besides working, I enjoy science-based contents about cooking, training and investing.
13:30-13:50 講演(2) 【タイトル邦題】 聴覚表現のためのマッチング追跡とスパース符号化
鵜木 祐史(北陸先端科学技術大学院大学 先端科学技術研究科 教授)
【原発表の書誌情報】 Tran Kim Dung and Masashi Unoki,"Matching Pursuit and Sparse Coding for Auditory Representation," IEEE Access, vol, 9, pp. 167084-167095, Dec. 2021. DOI: https://doi.org/10.1109/ACCESS.2021.3135011
【概要】 本論文では,聴覚マスキング効果といった聴覚特性を組み込んだ,聴覚表現のためのスパース符号化を提案した.その結果,低ビットレート(1066係数/s)で高い情報表現(PEMO-Qで0.89)を達成した.
【略歴】 1999年3月北陸先端科学技術大学院大学情報科学研究科博士後期修了.博士(情報科学).JSPS特別研究員,ATR人間情報通信研究所,ケンブリッジ大学生理学部CNBH,2001年より,北陸先端科学技術大学院大学情報科学研究科助手.2005年助教授,2017年教授.聴覚科学,音声信号処理の研究に従事.IEICEフェロー.
13:50-14:10 講演(3) 【タイトル邦題】 作業カテゴリラベルの自動階層化に基づく機械作業映像の半教師あり分節化
中村 和晃(東京理科大学 工学部情報工学科 准教授)
【原発表の書誌情報】 Kazuaki Nakamura, Naoko Nitta, Noboru Babaguchi, Kensuke Fujii, Satoki Matsumura, and Eiji Nabata: "Semi-Supervised Temporal Segmentation of Manufacturing Work Video by Automatically Building a Hierarchical Tree of Category Labels," IEEE Access, Vol.9, pp.68017-68027, April 2021.
【概要】 機械作業映像の自動分節化手法を提案する.現実的な条件として,映像中のごく一部のフレームにのみ教師ラベルが付与されていることを前提とする.その上で,まず,作業カテゴリラベルを自動的に階層化し,次に,各階層での分節化に適した特徴量を深層距離学習により個別に得ることにより,高精度化を図る.
【略歴】 2005年,京都大学工学部情報学科 卒業.2007年,同大学 大学院情報学研究科知能情報学専攻修士課程 修了.2010年,同専攻 博士後期課程 研究指導認定退学.2011年3月,博士(情報学)の学位を取得.2010年4月~2012年6月,京都大学大学院法学研究科 助手.2012年6月~2013年12月,大阪大学大学院工学研究科情報広報室 助教.2014年1月~2021年9月,同研究科 電気電子情報通信工学専攻 助教.2021年10月より東京理科大学工学部情報工学科に准教授として勤務(現職).画像認識・生成などの視覚メディア処理,および,画像認識器に対する攻撃と防御に関する研究に従事.
14:10-14:30 講演(4) 【タイトル邦題】 多焦点型立体プロジェクションマッピング
岩井 大輔(大阪大学 基礎工学研究科 准教授)
【原発表の書誌情報】 Sorashi Kimura, Daisuke Iwai, Parinya Punpongsanon, and Kosuke Sato, "Multifocal Stereoscopic Projection Mapping," IEEE Transactions on Visualization and Computer Graphics (Proceedings of IEEE International Symposium on Mixed and Augmented Reality), Vol. 27, No. 11, pp. 4256-4266, 2021.
【概要】 身の回りの実物表面に、両眼に視差を与える映像を投射して、バーチャルな3次元物体を浮かび上がらせる立体プロジェクションマッピングにおいて、輻輳調節矛盾を解消する多焦点システムを構築した。
【略歴】 2003年大阪大学基礎工学部システム科学科卒.2005年同大大学院基礎工学研究科博士前期課程了.2006年-2008年日本学術振興会特別研究員.2007年同大学院博士後期課程了.2008年同大学院助教.2011年同大学院講師.2013年同大学院准教授.この間,2007-2008年ドイツ・バウハウス大学客員研究員,2011年スイス・ETH客員研究員.投影型複合現実感,ユーザインタフェースの研究に従事.博士(工学).
14:30-14:50 講演(5) 【タイトル邦題】 垂直下方向の視野を拡大したヘッドマウントディスプレイはプレゼンスと自己位置感覚を向上させる
中野 萌士(奈良先端科学技術大学院大学 サイバネティクス・リアリティ工学研究室 博士後期課程3年)
【原発表の書誌情報】 Nakano, K., Isoyama, N., Monteiro, D., Sakata, N., Kiyokawa K., Narumi, T.: Head-Mounted Display with Increased Downward Field of View Improves Presence and Sense of Self-Location, IEEE Transactions on Visualization and Computer Graphics (TVCG), 27 (11), pp.4204-4214 (2021).
【概要】 VR用HMDの水平方向に広い視野角は高い臨場感を与えるが,垂直下方向の視野角(下方視野角)は作業や仮想身体の視認に必要だが,重要視されてない.我々は,HMDの鉛直下方向にLCDを追加した下方視野拡大HMDを開発し,VR空間の臨場感や自己位置推定感覚を向上させることを明らかにした.
【略歴】 2020年奈良先端科学技術大学院大学修士課程修了,同年博士課程に入学.バーチャルリアリティを専門とし,視覚が自己感覚に与える影響を調査する研究に従事.第5回サイエンス・インカレ国立研究開発法人科学技術振興機構理事長賞(2016),IPA未踏IT人材発掘・育成事業スーパークリエータ(2019), ISMAR 2021 Best Student-Led Journal Paper (2021)等を受賞.
14:50-15:20 講演(6) 【タイトル邦題】 ニューラル・カメラ:一貫性のある複合現実感表示のためのカメラ特性の学習
森 尚平(Graz University of Technology )
【原発表の書誌情報】 David Mandl, Peter Mohr, Tobias Langlotz, Christoph Ebner, Shohei Mori, Stefanie Zollmann, Peter Roth, and Denis Kalkofen, "Neural Cameras: Learning Camera Characteristics for Coherent Mixed Reality Rendering," Proc. IEEE Int. Symp. on Mixed and Augmented Reality (ISMAR) (2021.10)
【概要】 複合現実感において,整合性のとれた現実・仮想世界の表示は重要である.これには,写実的な仮想物体の描画に加え,現実世界を捉える撮像機構の再現も求められる.特定のカメラを想定する既存手法と異なり,提案手法はニューラル・ネットワークを用いることで撮影した画像群からそのカメラ特性を再現可能にする.
【略歴】 2016年立命館大学大学院情報理工学研究科博士後期課程修了 (DC-1).博士(工学).同年より慶應義塾大学理工学部日本学術振興会特別研究員 (PD).その間,グラーツ工科大学訪問研究員.2018年よりグラーツ工科大学博士研究員.複合・隠消現実感及び関連のCV・CG・ディスプレイ技術の研究に従事.IEEE VR 2022 Best Journal Paper Award,IEEE ISMAR 2021 Best Conference Paper Award,IEEE Workshop KELVAR 2020 Best Paper Award,IEEE ISMAR 2015 Best Demo Award等を受賞.