連続セミナー2025「AIが拓く次世代イノベーション」」
第10回【11月27日(木)13:00~16:00】 ※オンライン開催(Zoomウェビナー)
人間行動センシングと解析技術の最前線
~3D身体モデリング・作業解析から技巧熟達支援まで~
人間の行動や技能を正確に捉え、理解・支援することは、産業、医療、教育など幅広い分野でますます重要になっています。本セミナーでは、こうしたニーズに応える最先端の人間行動センシングと解析技術を紹介します。動画とテキストによる手順理解、画像からの3D身体モデル再構成、音楽家の超絶技巧の原理解明と熟達支援技術など、多様な研究事例を通じて、人間の巧みな行動の解明と次世代の支援技術の可能性に迫ります。
-
[13:00-13:05]オープニング
佐藤 洋一(東京大学生産技術研究所 教授)
【略歴】1990年東大・工・機械工学科卒業.1997年Carnegie Mellon University, School of Computer Science, PhD. Program in Robotics修了(Ph.D. in Robotics).東京大学生産技術研究所研究機関研究員,講師,助教授,同大学大学院情報学環准教授を経て,2010年より同大学生産技術研究所教授.コンピュータビジョンに関する研究に従事.日本学術振興会賞,電子情報通信学会論文賞,情報処理学会50周年記念論文賞等を受賞.電子情報通信学会フェロー,IAPR Fellow, AAIA Fellow. -
[13:05-13:55]Session1「動画とテキストからの手順理解:手作業プロセスの革新に向けた現在地」
少子高齢化による労働力不足が懸念される状況は、世界中の多くの先進国で見られます。そのため、科学実験や製品の組み立てなどの高価値タスクを自動化するための視覚言語融合(Vision & Language)および関連技術に対する注目が高まっています。本講演では、手続き的なテキストと動画データからの人間行動の理解に焦点を当て、その応用や技術的課題、社会活用の展望について解説します。たとえば、作業動画に対するキャプション生成では、一般的な動画キャプションよりも詳細に作業内容を描写する必要があります。また、作業をロボットに代替させることを目的として、手順書や動画からロボットのタスクや動作計画を生成する取り組みも始まっています。本講演では、このような状況に対する国内外の最新の研究状況を紹介するとともに、今後の展望についても語ります。
橋本敦史(オムロン サイニックエックス株式会社)
【略歴】平17京大.工・情報卒.平25京大大学院情報学研究科にて博士(情報学)取得. 同大で助教を努めたのち、現在はオムロン サイニックエックス株式会社においてKnowledge Computing Groupを主宰. 主に画像認識,機械学習,クロスモーダル処理,および,ヒューマンコンピュータインタラクションに関わる研究に従事. IEEE, ACM, 電子情報通信学会,情報処理学会各会員. -
[13:55-14:05]休憩
-
[14:05-14:55]Session2「3D身体モデル基盤と画像からの再構成」
本講演では,3D身体モデルを用いた人間行動センシングの最新動向を俯瞰する.まず,SMPL/MANO/SMPL-X に代表される統一的メッシュモデルの構築原理と身体形状パラメタの解釈を概説する.続いて,単眼RGB画像や多視点カメラからの3次元姿勢・形状推定アルゴリズムを取り上げ,深層学習による幾何的事前知識と統計モデルの融合手法を紹介する.また,推定結果を産業作業解析や技能評価に接続する実例として,講演者が取り組んできた実世界の手作業映像の解析や,物体操作や自己接触を含む複雑な姿勢の再構成といった課題を整理する.こうした実装知見を共有することで,3D身体モデルに基づく人間理解技術の理解を深め,研究および産業界を含む多様な分野への応用可能性について議論する.
大川武彦(東京大学 大学院情報理工学系研究科 博士課程3年)
【略歴】2021年より東京大学大学院情報理工学系研究科博士課程在籍.2023年にスイス連邦工科大学チューリッヒ校 (ETH Zurich),2021年にカーネギーメロン大学ロボット研究所にて訪問研究を実施.2024・2022年に米Metaインターンシップへ参加.JST ACT-X研究代表(2020–2023年),JSPS特別研究員DC1(2022–2024年).Google(2024年),Microsoft Research Asia (2023年),ETH Zurich (2023年)より助成金を獲得. -
[14:55-15:05]休憩
-
[15:05-15:55]Session3 「音楽家の超絶技巧の原理解明と熟達支援を可能にするテクノロジー」
AIの発展は,人間が容易に思い浮かばないアイデアを次々に生み出すことを可能にしています.このような新時代において,人間自らが創造する喜びが奪われてしまうことを危惧されるかもしれません.しかし,私たち人間は,自ら思い描いた創造性を「具現化する」ことによって,喜びや幸せを感じられる生き物です.自らの身体を使うことを通して,“できなかったことができるようになる喜び”や“イメージが形になる感動”を享受しています.したがって,アイデアが溢れる世界となっても,身体を使って創造性を具現化する行為こそが,人間の感動の源泉と言っても過言ではないでしょう.とはいえ,身体と道具を巧みに使いこなし,創造性を具現化することは容易ではありません。この能動的な営みを充実させるためには,トレーニングや教育を通した創造者自身の成長と,ヒューマンセントリックなテクノロジーの発展の双方が不可欠です.本講義はその一例として,音楽家のための研究・開発・教育が循環しながら互いに相乗効果を生み出す「サーキュラーリサーチ」という取り組みを紹介します.ロボット工学や情報科学,神経科学や心理学,身体運動学といった様々な分野が学際的に融合したサイエンスとテクノロジーを通して,技能の熟達の限界から解放する術を生み出し,それをトレーニングや指導の現場に一気通貫に実装するプラットフォームについて,最新の知見についてお話します.
古屋晋一(株式会社ソニーコンピュータサイエンス研究所 東京リサーチ リサーチディレクター)
【略歴】ソニーコンピュータサイエンス研究所 東京リサーチ リサーチディレクター,ハノーファー音楽演劇メディア大学 客員教授,一般社団法人NeuroPiano代表理事,東京藝術大学,京都市立芸術大学・東京音楽大学 非常勤講師.大阪大学基礎工学部,人間科学研究科を経て,医学系研究科にて博士(医学)を取得.ミネソタ大学 神経科学部,ハノーファー音楽演劇メディア大学 音楽生理学・音楽家医学研究所,上智大学 理工学部にて勤務した後,現職.研究の主な受賞歴に,ドイツ研究振興会(DFG)Heisenberg Fellowship,Klein Vogelbach Prize,Alexander von Humboldt財団Postdoctoral Fellowship,文部科学省 卓越研究員,日本学術振興会賞など. -
[15:55-16:00]クロージング
佐藤 洋一(東京大学生産技術研究所 教授)