連続セミナー2022「その先へ 情報技術が貢献できること」

第6回【9月26日(月) 13:00~17:00】

多様性と環境変化に寄り添う信頼される分散機械学習基盤のための要素技術とその応用


プライバシーや権利保護の観点から、データの秘匿性を保ったまま機械学習モデルの学習(訓練)を行う技術が求められています。特に、複数の参加者が各自のデータを用いて学習した後に、学習後のモデルのみを複数人で集約することで、データを外部に開示することなく、他人のデータの恩恵を受けることができる分散機械学習方式の連合学習 (Federated Learning) が注目されています。JST CRESTの研究課題「D3-AI: 多様性と環境変化に寄り添う分散機械学習基盤の創出」では、プライバシー、公平性、変容適応性、省エネルギー性の4つの「信頼」の要件を備える連合学習に基づく分散AIシステムを「D3-AI」と定義し、機械学習理論、計算機アーキテクチャ、IoT基盤、データ利活用の異なる技術階層間で連携して、要素技術の開発と応用展開を進めています。本セミナーでは、D3-AIに基づく信頼されるAIを実現するための要素技術とその応用に向けた取り組みを紹介します。
  • [13:00-13:10]本セミナーの概要と趣旨の説明

    高前田 伸也
    高前田 伸也(東京大学 大学院情報理工学系研究科 コンピュータ科学専攻 准教授)

    【略歴】2014年東京工業大学大学院情報理工学研究科博士課程修了。博士(工学)。2011年から2014年まで日本学術振興会特別研究員。2014年から2016年まで奈良先端科学技術大学院大学情報科学研究科助教。2016年から2019年まで北海道大学大学院情報科学研究科准教授。2018年10月から2022年3月までJSTさきがけ研究者。2019年から東京大学大学院情報理工学系研究科准教授。コンピュータアーキテクチャ、ハードウェア高位設計技術、機械学習高速処理に関する研究に従事。
  • [13:10-13:40]Session1「信頼されるAIのためのハードウェアとアルゴリズムの協調設計」

    高前田 伸也

    優れたAIシステムには、機械学習の理論やアルゴリズムだけではなく、その計算を高速かつ省エネルギーに行う計算機システムが必要となる。特に、データの発生源の近くで認識と判断を行うエッジAIにおいては、限られたエネルギーで低遅延に処理をするために、コンピュータの仕組みと機械学習の原理のコデザインが有用である。また、AIの出力の不確実性の表現や、判断理由の説明を行う説明可能なAIといった「信頼されるAI」のためには、さらに高い計算能力が求められ、機械学習のためのコンピュータ開発がより一層重要となる。講演者は、2021年10月よりJST CREST「信頼されるAIシステムを支える基盤技術」領域の研究プロジェクト「D3-AI: 多様性と環境変化に寄り添う分散機械学習基盤の創出」を遂行しており、利用者やデータの多様性を尊重し時間的・空間的な性質の変動に適応できる,分散型・省エネルギーなAIシステムの基盤技術を創出を目指して研究を進めている。本講演では、D3-AI CRESTおよび関連プロジェクトで研究開発してきた、計算や通信の仕組みを意識した機械学習の方式や、信頼されるAIのためのコンピュータシステム技術を紹介する。

    高前田 伸也(東京大学 大学院情報理工学系研究科 コンピュータ科学専攻 准教授)
  • [13:40-13:50]休憩

  • [13:50-14:30]Session2「メカニズムとの学際的統合による新しい分散学習理論基盤の構築」

    今泉 允聡

    本発表では、D3-AI(多様性と環境変化に寄り添う分散人工知能)開発の一環として、インセンティブを操作するメカニズムを備えた連合学習(federated learning)の技術開発を紹介する。連合学習は、参加する各エージェントから提供された学習済みモデルを統合して再配布する学習システムであり、各エージェントがデータを提供しなくても良い予測モデルを作れるという利点から注目を集めている。対して,連合学習のシステムに参加したエージェントには、独自の学習コストやモデル送付の通信コストが課せられるため、エージェントの参加インセンティブが重要な要素であることが知られている。本研究プロジェクトの結果の1つでは、一定の性質を持つ連合学習システムの汎化誤差と参加インセンティブを解析し、その問題点を解決する学習フレームワークを提案した。まず、各エージェントが持つデータの乖離度が大きいとき、特に大量・汎用的なデータを持つエージェント(有力エージェント)が直面するミニマックス汎化誤差は、連合学習に参加しない場合と変わらないことを示した。これにより、有力エージェントは金銭的補償などの支援がない場合は連合学習に参加しないため、システムは継続的に報酬を拠出しなければならないことが明らかになった。続いて、この有力エージェントが連合学習システムに参加するインセンティブを確保するため、通信学習(communication learning)というエージェント間の補正付き学習システムを開発し、データを提供しないという制約を満たしたままで有力エージェントが直面する汎化誤差を減少させた。これにより、金銭的補償を提供せずにエージェントの参加インセンティブを確保できるような連合学習システムを開発した。

    今泉 允聡(東京大学 総合文化研究科 先進科学研究機構 准教授)

    【略歴】2017年に東京大学経済学研究科統計学専攻にて博士号取得。統計数理研究所助教などを経て、2020年より東京大学総合文化研究科先進科学研究機構准教授。理化学研究所革新知能統合研究センター客員研究員、統計数理研究所統計的機械学習研究センター客員准教授、科学技術振興機構創発研究員などを兼務する。
  • [14:30-14:40]休憩

  • [14:40-15:20]Session3「広域分散型IoTシステムのための包括的コンピューティング技術」

    高瀬 英希

    JST CREST D3-AIプロジェクトにおいて講演者が担当しているIoT班では、「多様性と時空間変動に適応するIoT基盤技術」を研究テーマとして掲げ、D3-AIのための革新的なオープンソース通信基盤および分散処理技術の創出に向けた研究開発を進めている。本発表では、IoT班における狙いや研究項目の概要を紹介したのち、最近の成果であるIoTシステム向けの通信ミドルウェアについて重点的に解説する。また、講演者が別に主導している「関数型パラダイムで実 現するB5G時代の 資源透過型広域分散コンピューティング環境」の研究開発課題における取り組みについても紹介したい。本課題では、Beyond 5時代の広域分散通信網によってもたらされる利点・機能を積極活用したIoTアーキテクチャを創出し、アクターベースの関数型言語であるElixirを礎とした革新的なコンピューティング環境を開拓することを目指している。

    高瀬 英希(東京大学 大学院情報理工学系研究科 准教授)

    【略歴】2012年3月 名古屋大学 大学院情報科学研究科 博士課程後期課程 修了・博士 (情報科学)取得。2012年4月より京都大学 大学院情報学研究科 助教、2019年11月より同 准教授。2021年4月より現職。2018年10月より2022年3月まで科学技術振興機構 さきがけ研究者を兼務。一般社団法人ROSCon JP理事。
  • [15:20-15:30]休憩

  • [15:30-16:10]Session4「信頼されるLiDARに向けて」

    吉岡 健太郎

    信頼されるAIを実現するにはAI自身の習熟度以外にもセンサの"信頼性"が求められる。本講演では自動運転やロボティクスで必需3DセンサであるLiDAR(Light Detection and Ranging)の信頼性を主に高解像度化とセキュリティの二面から問う。まず3D情報を活用したAIが十分な信ぴょう性を持つためにはLiDARの高解像度が不可避である。そのような高解像度LiDARの実現方法を回路システム的見地から議論し、先端LiDARの発展と照らし合わせる。そしてLiDARのハッキング可能性について議論し、セキュリティ方面の研究を紹介し、最後にハッキングの防衛方法を講じる。

    吉岡 健太郎(慶應義塾大学 電気情報工学科 専任講師)

    【略歴】2014年4月~2021年3月 株式会社東芝 研究開発センター研究員。機械学習ハードウェア、LiDARセンサの研究開発に従事。 2017年12月~2018年12月 スタンフォード大学客員研究員。Mark Horowitz研究室でハード・ソフト両面から機械学習の高効率化に関する研究に従事。 2021年4月より慶應義塾大学理工学部専任講師に着任。
  • [16:10-16:20]休憩

  • [16:20-17:00]Session5「信頼されるAI基盤のためのデータ収集と社会基盤での応用」

    木谷 友哉(静岡大学)

    【略歴】