超大規模深層学習によって作られた、基盤モデルや大規模言語モデルと呼ばれる現在の最先端AIモデルは、それまでの目的特化型AIと異なり、高い汎用性やマルチモーダル性を示しています。しかし、人間と比べると、資源効率、実世界操作（身体性）、論理性、安全性、信頼性などに問題を抱えています。しかも、なぜ上述のような極めて賢く見える応答を返すことができるのか、そのメカニズムは明らかになっていません。本講演では、本セッションのオープニングとして、そのようなAIモデルの現状や関連政策動向を概観します。さらに、現在のAIモデルの問題を克服する次世代AIモデルに向けた研究開発課題や政策面の課題についても論じ、このあとの3件の講演につなげます。

ChatGPTをはじめとする大規模言語モデル（LLM）が社会基盤化するとともに、これらのモデルの透明性・信頼性の向上など多くの課題が指摘されている。国立情報学研究所では2023年5月からLLM勉強会（LLM-jp）を主宰するとともに、国内外の多数の研究者によるオープンな研究開発環境・体制を実現し、2024年4月からはその活動拠点として大規模言語モデル研究開発センターを開設した。本講演では、これらの取組みの概要を示すとともに、その具体的な活動事例としてLLMの事前学習と、チューニング・評価について紹介する。
LLMの事前学習：LLMの事前学習においては、様々な組織でのこれまでの取り組みから得られた知見をそのまま単純に活用して実施すれば良い部分と、事前学習実行中に臨機応変に対処しなくてはいけない部分の両方が存在する。本講演では、LLMの事前学習を実施する際に考慮すべき観点について共有する。
LLMのチューニング・評価：LLMを実用とするためには人間の入力に対して適切な返答を出力すること（アライメント）が必要であり、そのための学習としてチューニングが行われる。また、応用アプリケーションにおいて必要な性能を担保するためにはLLMの言語理解・生成能力を正確に評価することも必要である。本講演では、LLM-jpプロジェクトにおけるチューニングおよび評価に関する研究について紹介する。

深層ニューラルネットの確率勾配学習をベースとする今日のAIは、インターネット上の膨大なデータを活用し多くの面で人間を超える能力を実現するに至った。しかし生物、人間の脳と比べた場合、今日のAIにはエネルギー効率、データ効率、自律性と社会性などの面で及ばない面がある。一方で生物の脳の学習結果は1世代限りのものであるのに対し、人工ニューラルネットは自由に複製が可能で、さらにネットを通じた高速通信が可能なため、脳移植、ラマルク進化、テレパシーなど人間では到底不可能な強みがある。このような違いのもとで、次世代AIに向けて脳のしくみから何を学ぶことができるのか、そのためにどのような脳科学が必要かを議論したい。

近年、脳の機能を統一的に説明する理論として「予測情報処理」が注目を集めている。脳は感覚器からのボトムアップな感覚信号と、意図や信念に基づく内部モデルからのトップダウンな予測信号を統合し、予測誤差を最小化するように知覚や運動を生成すると考えられている。本講演では、予測情報処理理論を応用することで、人間のように連続で多様な認知発達過程を再現したロボット実験を紹介する。感覚運動経験を通した内部モデルの獲得とそれに伴う感覚・予測信号の精緻化が、認知機能の獲得と時間的変容を導くこと、身体性に基づく多感覚信号の統合と感覚様式を超えた予測誤差最小化が、社会的能力を創発させること、さらに、予測情報処理の変調が発達障害などの神経多様性を生じることを、神経回路モデルと子供型ロボットを用いた実験により示す。