連続セミナー2024「情報技術の新たな地平:AIと量子が導く社会変革」
第4回【8月7日(水) 13:00~16:00】
次世代AIモデルに向けた研究開発動向
言葉による指示に対して、まるで人間と対話しているかのような自然な応答や、専門的な知識・能力を備えているかのような応答を返す生成AIが登場し、人間の知的作業全般に変革をもたらしつつあります。この生成AIを支えている最先端のAIモデルは、膨大な量のデータから超大規模深層学習によって作られた、ある種の確率モデルで、基盤モデルや大規模言語モデルと呼ばれています。この現在のAIモデルは高い汎用性やマルチモーダル性を示していますが、人間と比べると、資源効率、実世界操作(身体性)、論理性、安全性、信頼性などに問題を抱えています。しかも、なぜ上述のような極めて賢く見える応答を返すことができるのか、そのメカニズムは明らかになっていません。そこで、本セッションでは、そのメカニズムを解明することや、人間の知能との違いと、そこから得られる知見を生かすことで、現在のAIモデルの問題克服や新たなAI発展を探る取り組みを紹介します。
※本セミナーは、配布資料とアーカイブ配信をご提供いたします。
参加された方々の声
- 実務面で生成AIの活用が避けては通れない状況の中、次世代AIに向けての取り組みが気になり参加しました。現在の技術進化は主に仮想世界での進化が中心ですが、次世代に向けては改めて人間に学ばなければならないという視点が興味深かったです。
- 最新の研究動向をわかりやすく知ることができた。オープニングとクロージングでセミナーの全体像を整理していただき、各講演の位置づけ、狙いをよく理解することができた。
-
[13:00-13:15] オープニング
超大規模深層学習によって作られた、基盤モデルや大規模言語モデルと呼ばれる現在の最先端AIモデルは、それまでの目的特化型AIと異なり、高い汎用性やマルチモーダル性を示しています。しかし、人間と比べると、資源効率、実世界操作(身体性)、論理性、安全性、信頼性などに問題を抱えています。しかも、なぜ上述のような極めて賢く見える応答を返すことができるのか、そのメカニズムは明らかになっていません。本講演では、本セッションのオープニングとして、そのようなAIモデルの現状や関連政策動向を概観します。さらに、現在のAIモデルの問題を克服する次世代AIモデルに向けた研究開発課題や政策面の課題についても論じ、このあとの3件の講演につなげます。
福島 俊一(国立研究開発法人科学技術振興機構 研究開発戦略センター フェロー)
【略歴】1982年東京大学理学部物理学科卒業、NEC入社。以来、中央研究所にて自然言語処理・情報検索等の研究開発・事業化に従事。1992年情報処理学会論文賞、1997年情報処理学会坂井記念特別賞、2003年オーム技術賞等を受賞。2011~2013年東京大学大学院情報理工学研究科客員教授。2016年から科学技術振興機構研究開発戦略センターフェロー、人工知能分野を中心に研究開発動向の俯瞰的調査・戦略提言を担当。工学博士、情報処理学会フェロー。 -
[13:15-14:00]Session1 「LLM-jpプロジェクトと大規模言語モデルの研究開発」
ChatGPTをはじめとする大規模言語モデル(LLM)が社会基盤化するとともに、これらのモデルの透明性・信頼性の向上など多くの課題が指摘されている。国立情報学研究所では2023年5月からLLM勉強会(LLM-jp)を主宰するとともに、国内外の多数の研究者によるオープンな研究開発環境・体制を実現し、2024年4月からはその活動拠点として大規模言語モデル研究開発センターを開設した。本講演では、これらの取組みの概要を示すとともに、その具体的な活動事例としてLLMの事前学習と、チューニング・評価について紹介する。
LLMの事前学習:LLMの事前学習においては、様々な組織でのこれまでの取り組みから得られた知見をそのまま単純に活用して実施すれば良い部分と、事前学習実行中に臨機応変に対処しなくてはいけない部分の両方が存在する。本講演では、LLMの事前学習を実施する際に考慮すべき観点について共有する。
LLMのチューニング・評価:LLMを実用とするためには人間の入力に対して適切な返答を出力すること(アライメント)が必要であり、そのための学習としてチューニングが行われる。また、応用アプリケーションにおいて必要な性能を担保するためにはLLMの言語理解・生成能力を正確に評価することも必要である。本講演では、LLM-jpプロジェクトにおけるチューニングおよび評価に関する研究について紹介する。武田 浩一(国立情報学研究所 大規模言語モデル研究開発センター 副センター長・特任教授)
【略歴】1983年から2017年まで日本アイ・ビー・エム株式会社東京基礎研究所に勤務。2017年に名古屋大学大学院情報学研究科価値創造研究センターにセンター長・教授として着任。2024年より国立情報学研究所大規模言語モデル研究開発センター副センター長・特任教授(現職)。博士(情報学)。情報処理学会フェロー。
-
鈴木 潤(東北大学 言語AI研究センター センター長・教授)
【略歴】2001年から2018年まで日本電信電話株式会社コミュニケーション科学基礎研究所に研究員(特別研究員)として勤務。2018年、東北大学大学院情報科学研究科准教授に着任。2020年にデータ駆動科学・AI教育研究センター教授に着任し、2023年10月より言語AI研究センターの新設とともにセンター長に就任(現職)。2005年奈良先端大学院大学博士後期課程修了 博士(工学)。2008-2009年MIT CSAIL客員研究員。2017年より理化学研究所革新知能統合研究センター客員研究員。2020から2022年までGoogle LLC Visiting Researcher。主として自然言語処理、機械学習、人工知能に関する研究に従事。言語処理学会理事、ACL Rolling Review Editors in Chief。
-
宮尾 祐介(東京大学 大学院情報理工学系研究科 教授)
【略歴】2000年東京大学大学院理学系研究科修士課程修了。2001年より同大学にて助手、2007年より助教。2006年同大学大学院にて博士号 (情報理工学) 取得。2010年より国立情報学研究所准教授、2018年より東京大学教授。構文解析、意味解析などの自然言語処理基盤技術とその応用の研究に従事。人工知能学会、情報処理学会、言語処理学会、Association for Computational Linguistics 各会員。 -
[14:00-14:10] 休憩
-
[14:10-14:55] Session2「脳とAIの強みと弱み」
深層ニューラルネットの確率勾配学習をベースとする今日のAIは、インターネット上の膨大なデータを活用し多くの面で人間を超える能力を実現するに至った。しかし生物、人間の脳と比べた場合、今日のAIにはエネルギー効率、データ効率、自律性と社会性などの面で及ばない面がある。一方で生物の脳の学習結果は1世代限りのものであるのに対し、人工ニューラルネットは自由に複製が可能で、さらにネットを通じた高速通信が可能なため、脳移植、ラマルク進化、テレパシーなど人間では到底不可能な強みがある。このような違いのもとで、次世代AIに向けて脳のしくみから何を学ぶことができるのか、そのためにどのような脳科学が必要かを議論したい。
銅谷 賢治(沖縄科学技術大学院大学 神経計算ユニット 教授)
【略歴】1991年東京大学博士、工学部助手からUCSD、ソーク研究所などで脳科学を学ぶ。1994年からATRで自ら行動を学習するロボットと脳の学習のしくみの研究を行う。2004年に沖縄に渡り沖縄科学技術大学院大学 (OIST) 先行研究代表研究者、2011年OIST開学とともに神経計算ユニット教授,副学長に就任。2008-2021年Neural Networks誌共同編集長、2011年「予測と意思決定」2016年「人工知能と脳科学」新学術領域代表、2023年より日本神経回路学会会長を務める.2007年学術振興会賞、塚原仲晃賞、2012年文部科学大臣表彰、2018年国際神経回路学会Donald O. Hebb賞、2019年日本神経回路学会学術賞、アジア太平洋神経回路学会卓越業績賞受賞、2022年Ironman Malaysia年代別2位入賞。 -
[14:55-15:05] 休憩
-
[15:05-15:50]Session3「脳の予測情報処理:人間の認知発達から学ぶAI設計」
近年、脳の機能を統一的に説明する理論として「予測情報処理」が注目を集めている。脳は感覚器からのボトムアップな感覚信号と、意図や信念に基づく内部モデルからのトップダウンな予測信号を統合し、予測誤差を最小化するように知覚や運動を生成すると考えられている。本講演では、予測情報処理理論を応用することで、人間のように連続で多様な認知発達過程を再現したロボット実験を紹介する。感覚運動経験を通した内部モデルの獲得とそれに伴う感覚・予測信号の精緻化が、認知機能の獲得と時間的変容を導くこと、身体性に基づく多感覚信号の統合と感覚様式を超えた予測誤差最小化が、社会的能力を創発させること、さらに、予測情報処理の変調が発達障害などの神経多様性を生じることを、神経回路モデルと子供型ロボットを用いた実験により示す。
長井 志江(東京大学 ニューロインテリジェンス国際研究機構 特任教授)
【略歴】2004年大阪大学、博士(工学)。情報通信研究機構(NICT)専攻研究員、ビーレフェルト大学ポスドク研究員、大阪大学特任准教授、NICT 主任研究員を経て、2019年より東京大学特任教授。構成的アプローチから人間の社会的認知機能の発達原理を探る、認知発達ロボティクス研究に従事。認知発達の時間的連続性と個人の多様性が、脳の予測情報処理に基づいて統一的に説明できることを提案。35 Women in Robotics Engineering and Science (2022) などに選出。2016年よりCREST「認知ミラーリング」、2021年よりCREST「認知フィーリング」の研究代表者。 -
[15:50-16:00]クロージング
福島 俊一(国立研究開発法人科学技術振興機構 研究開発戦略センター フェロー)