第9回
AIトレンド:大規模モデルと生成モデル

日時:2021年10月27日(水)15:00~17:00
会場:オンライン開催

深層学習モデルの大規模化と生成モデルの発展のトレンドについて、音声・言語・画像など様々な応用分野に跨り、その事例を紹介する。
オープニング[15:00~15:05]

コーディネータ:戸上 真人

Amazon Web Services, Principal Applied Scientist

【略歴】2002年東京大学工学系研究科航空宇宙工学専攻修士課程修了。2003年10月日立製作所中央研究所入社。2011年東京大学工学系研究科航空宇宙工学専攻博士後期課程修了。博士(工学)。2017年Stanford Data Science Initiative Visiting Scholar。2018年6月LINE株式会社入社。AI開発室室長。2021年10月Amazon Web Services (AWS)入社。Principal Applied Scientist。 IEEE Senior Member。人工知能学会全国大会優秀発表賞、テレコムシステム技術賞、日本音響学会独創研究奨励賞板倉記念、粟屋潔学術奨励賞などを受賞。

セッション1[15:05-15:15]

大規模生成モデルの技術トレンドと産業応用

深層生成モデルの大規模化のトレンドが言語,音声,画像に限らず広く進んでいる。言語モデルでは,1000億以上のパラメータを有するGPT-3などの超大規模モデルが提案され,モデルをタスク毎に学習することなく、様々なタスクに汎用的に適用可能である事が示されている。この背景にあるモデル学習技術は、いわゆる自己教師有学習と呼ばれる学習技術であり、正解データを用いることなく、モデルを学習する事が可能となる。音声認識分野では、自己教師有学習で学習した大規模モデルを言語に依存しない汎用的な事前学習モデルとして用いて、ターゲットの言語における少量の正解データのみを用いる事で、従来の手法と相違ない高い認識率を実現できることが分かってきている。本講演では汎用性と大規模化の二つの特徴を有する大規模生成モデルの技術トレンドを俯瞰するとともに,産業応用の可能性について概観を述べる。
「発表内容は報告者個人の見解に基づくものであり、発表者が所属する組織の公式見解ではございません。」

講師:戸上 真人

Amazon Web Services, Principal Applied Scientist

【略歴】2002年東京大学工学系研究科航空宇宙工学専攻修士課程修了。2003年10月日立製作所中央研究所入社。2011年東京大学工学系研究科航空宇宙工学専攻博士後期課程修了。博士(工学)。2017年Stanford Data Science Initiative Visiting Scholar。2018年6月LINE株式会社入社。AI開発室室長。2021年10月Amazon Web Services (AWS)入社。Principal Applied Scientist。 IEEE Senior Member。人工知能学会全国大会優秀発表賞、テレコムシステム技術賞、日本音響学会独創研究奨励賞板倉記念、粟屋潔学術奨励賞などを受賞。

セッション2[15:15-15:30]

大規模汎用言語モデルを内包するシステムの応用とAI倫理の実装

LINE と NAVER が共同で行っている大規模な汎用言語モデルの構築と活用について言及し、この汎用言語モデルを内包する HyperCLOVA というシステムのデモを披露する。その後、このシステムの自動評価や主観評価の結果とその考察について紹介し、LINEにおけるAI倫理の実装について取り組みを紹介する。最後に、大規模な汎用言語モデルの存在が与えるビジネスや研究に対する影響について見解を述べる。

講師:佐藤 敏紀

LINE株式会社

【略歴】2008年ヤフー株式会社入社。スペル訂正技術の研究開発に従事。2012年LINE株式会社入社。自然言語処理・検索・機械学習関連の業務などに携わる。単語分かち書き辞書生成システムNEologdの開発者。CLOVAの日本語向けの自然言語理解システムの開発を担当。2021年よりNLP開発チームのマネージャー。Twitter IDは@overlast。

セッション3[15:30-15:55]

Large Model Is All You Need?

画像認識、画像生成、音声認識、言語モデル、深層学習の適用分野は広がり続けているが、その多くの適用分野では、モデルサイズを大きくすることで精度が向上するという結果が得られている。この傾向は、現在は、特に言語モデルで顕著であり、年率で10倍を超えるペースで言語モデルのサイズは巨大化を続けており、そして、様々な自然言語処理において、SoTA を更新し続けている。この傾向は、今後も続くのだろうか、だとしたら、我々は何をすべきなのか?本講演では、この課題に対して、弊社が行っている深層学習に関連した研究活動、深層学習用途に開発している様々なライブラリやフレームワーク、そして、深層学習向けに我々が開発している次世代の GPU プラットフォームを紹介した上で、この問題をどう解決すべきかを議論したい。

講師:成瀬 彰

NVIDIA

【略歴】1996年名古屋大学大学院工学系研究科修士課程修了(情報工学専攻)。同年、富士通研究所に入社、大規模サーバ開発、HPC システム開発など、様々なプロジェクトに参加、関連ハードウェア・ソフトウェアの研究開発に従事。2009年山下記念研究賞受賞。2010年SACSIS2010 最優秀論文賞受賞。2013年NVIDIAに参加、Senior Developer Technology Engineer として様々なアルゴリズム・アプリケーションの GPU 向け並列化に従事、GPU コンピューティングの普及に努めている。

セッション4[16:00-16:25]

巨大深層モデルの高速・省資源開発基盤とその応用

近年、深層学習モデルは高性能化に伴いそのサイズが急激に増加しており、学習や認識に莫大な計算量・計算資源が必要となる。汎用ハードウェアの上で機械学習アルゴリズムを開発する従来の手法が大きな壁に直面している。この問題を解決するためには、深層学習に特化したコンピュータアーキテクチャとその上で動作するアルゴリズムを同時に最適化するCo-Designのアプローチが有望である。ここでは、その例として、JST CREST AI領域「社会インフラ映像処理のための高速・省資源深層学習アルゴリズム基盤」における活動とその最新の成果を紹介する。特に「富岳」の使用を想定した超並列学習、小型化・高速化とFPGAへの実装、映像を用いた評価などについて解説する。

講師:篠田 浩一

国立大学法人東京工業大学 情報理工学院情報工学系 教授

【略歴】1989年東京大学修士(理・物理)卒。2001年に東京工業大学より博士号(工学)取得。1989年日本電気(株)入社、1997年から1998年までルーセント・ベル研究所客員研究員。現在、東京工業大学教授。専門は音声認識、映像検索、統計的パターン認識、ヒューマンインタフェース。1998年電子情報通信学会論文賞受賞。2014年から2016年まで情報処理学会音声言語情報処理研究会主査。現在、JST CREST「社会インフラ映像処理のための高速・省資源深層学習アルゴリズム基盤」研究代表者。

パネル討論[16:25-16:55]

大規模モデルと生成モデル

司会:栄藤 稔

大阪大学

【略歴】本来は画像符号化、機械学習とパターン認識が専門だが、近年はイノベーションマネージメントが専門。現在、大阪大学先導的学際研究機構教授、 株式会社コトバデザイン 取締役会長。2000年パナソニックからNTTドコモに転じ、モバイルマルチメディア、データマイニング、音声認識、モバイルネットワークに関する技術開発と新規事業に従事。米国にてDOCOMO Innovations、DOCOMO Capital社長を経てNTTドコモ執行役員として2016年7月まで投資部門であるNTTドコモベンチャーズの社長を兼務。2014年に株式会社みらい翻訳を創業し2020年6月まで代表取締役社長。


パネリスト:佐藤 敏紀

LINE株式会社

【略歴】2008年ヤフー株式会社入社。スペル訂正技術の研究開発に従事。2012年LINE株式会社入社。自然言語処理・検索・機械学習関連の業務などに携わる。単語分かち書き辞書生成システムNEologdの開発者。CLOVAの日本語向けの自然言語理解システムの開発を担当。2021年よりNLP開発チームのマネージャー。Twitter IDは@overlast。


パネリスト:篠田 浩一

国立大学法人東京工業大学 情報理工学院情報工学系 教授

【略歴】1989年東京大学修士(理・物理)卒。2001年に東京工業大学より博士号(工学)取得。1989年日本電気(株)入社、1997年から1998年までルーセント・ベル研究所客員研究員。現在、東京工業大学教授。専門は音声認識、映像検索、統計的パターン認識、ヒューマンインタフェース。1998年電子情報通信学会論文賞受賞。2014年から2016年まで情報処理学会音声言語情報処理研究会主査。現在、JST CREST「社会インフラ映像処理のための高速・省資源深層学習アルゴリズム基盤」研究代表者。


パネリスト:成瀬 彰

NVIDIA

【略歴】1996年名古屋大学大学院工学系研究科修士課程修了(情報工学専攻)。同年、富士通研究所に入社、大規模サーバ開発、HPC システム開発など、様々なプロジェクトに参加、関連ハードウェア・ソフトウェアの研究開発に従事。2009年山下記念研究賞受賞。2010年SACSIS2010 最優秀論文賞受賞。2013年NVIDIAに参加、Senior Developer Technology Engineerとして様々なアルゴリズム・アプリケーションの GPU 向け並列化に従事、GPU コンピューティングの普及に努めている。

クロージング[16:55-17:00]

講師:栄藤 稔

大阪大学

【略歴】本来は画像符号化、機械学習とパターン認識が専門だが、近年はイノベーションマネージメントが専門。現在、大阪大学先導的学際研究機構教授、 株式会社コトバデザイン 取締役会長。2000年パナソニックからNTTドコモに転じ、モバイルマルチメディア、データマイニング、音声認識、モバイルネットワークに関する技術開発と新規事業に従事。米国にてDOCOMO Innovations、DOCOMO Capital社長を経てNTTドコモ執行役員として2016年7月まで投資部門であるNTTドコモベンチャーズの社長を兼務。2014年に株式会社みらい翻訳を創業し2020年6月まで代表取締役社長。