1．青翔開智中学校デジタル化プロジェクトの目的

（一社）情報サービス産業協会（JISA）では，「JISA Spirit」の実現に向けた象徴的な取り組みとして，革命プロジェクトを実施している[1]．本プロジェクトチームではICT教育で先進的な取り組みを行っている鳥取県にある私立中高一貫校の学校法人鶏鳴学園　青翔開智中学・高等学校（以下，青翔開智）との連携により，ITの力を利用して学習効果を高めるための調査や意見交換を進めてきた．このプロジェクトの最終的な目標は，青翔開智を起点に日本の中学校・高校においてディジタル技術を活用した教育の高度化と，そして，それを通じて未来の日本を背負う人材の恒久的輩出の仕掛けづくりを行うことである．

その目標達成のため，JISAではITを活用した教育の高度化を実践し，他の学校でも利用できる汎用的な教育モデルを作成するための「ペルソナ校（モデル校）」として青翔開智を位置づけた．ITを活用した教育の高度化を青翔開智で実践するためには，同校の授業の中心である「探究」を分析可能とするために定量化を行う必要があった．そこで，探究をフィードバックするための媒体として「探究通信簿」の作成を行うこととなった．青翔開智では，育てたい資質・能力を「育てたい資質」として学校独自に定義している．育てたい資質の育成状況を生徒にフィードバックし，生徒とのコミュニケーションを行うためのツールとして探究通信簿のトライアルを実施している．探究通信簿を定量的に作成するためにはITを活用してデータを取得し，生徒のコンピテンシーやスキルのフィードバックを行うことが必要である．そこで，探究の授業において重要な要素の1つであるプレゼンテーションのデータを取得し，生徒にフィードバックを行う試みを始めた．本稿では，ITを活用した教育の高度化を行うための一要素として実施している，表情解析アプリケーションを利用した中学校・高等学校におけるプレゼンテーション分析について記載する．

2．探究教育における表情解析アプリケーションの位置づけ

2.1　探究教育の課題

青翔開智の設立は2014年，生徒数は中学生徒・高校生計256名である（令和2年5月1日現在）．同校では，全生徒が入学時にタブレットPCを購入し，学校内にWi-Fiが完備されているため，授業や連絡でもITが積極的に活用されている．生徒と教師の連絡はITを活用して実施し，授業においてはルーブリックを活用した教員評価，自己評価，他者評価などの評価を取得する場合もある．ルーブリックとは，学習到達度を示す評価基準を観点と尺度からなる表として示したものである．AIやブロックチェーンの授業も行っているため，ITリテラシーの高い生徒も多い．

青翔開智の特徴的な授業が「探究基礎」である．「探究基礎」の授業では，研究を広げ，深めていくことで，生徒自ら学ぶ手法を身に付けることが目標にされている．青翔開智の「探究基礎」では「SEIKAI6.1」と呼ばれる独自のフレームワークと，「デザイン思考」を活用した同校独自のフレームワークの2つを活用して実施している．「SEIKAI6.1」は青翔開智で一般的に活用されている課題研究のプロセスのもと独自に設定した探究のフレームワークである．「SEIKAI6.1」ではテーマ設定，情報収集，情報分析，論文執筆，プレゼン，評価，再度テーマ設定に戻る，というプロセスを定義している．探究基礎という授業では学年単位でテーマを設定し（図1），年度末に全学年一斉の発表会を実施している．

また，探究要素を取り入れた通常授業も実施している．たとえば，生物の授業であれば「免疫機能に関するジオラマを作成」する，などである．

探究は青翔開智で重要な要素である．しかし，探究的な取り組みや活動を評価する方法は定まっておらず，生徒にフィードバックを行うためには定量化を行うためのモデルが必要という課題がある．教育業界においても探究の定量化については定まった方法はなく，探究を実施している学校の共通の課題の1つとなっている．

2.2　心sensorによる探究の定量化

「表情解析アプリケーションを利用した中学校・高等学校のプレゼンテーション分析」を包含したプロジェクトの全体像を説明する．同学園理事長など関係者へのヒアリングやディスカッション，実際の授業風景の見学などを通じて，「探究基礎」の授業が，その独自性ゆえに評価方法に課題を抱えていることに着目した（図2）．探究における評価は絶対的な優劣をつけるためではなく，個々の生徒の長所を伸ばすために利用したいという理事長や教師の要望もあった．そこで，探究通信簿は単に評価のためのツールではなく，生徒の育成のためのコミュニケーションツールとして利用することを想定して作成している．

「探究基礎」では生徒にテーマを与えて，「SEIKAI6.1」や「デザイン思考」のフレームを使いながら課題解決を行うため，定量的・定性的な評価が非常に難しくなっている．また，「探究」は半年から1年など長い時間をかけて実施するため，一連の探究の授業の中での現在の達成状況や進捗状況を測る方法がないことも課題だった．そこで，本プロジェクトでは探究の授業を定量化し，分析を可能にする『探究通信簿』のプロトタイプを作成した．まず，学校の理念である「探究」「共成」「飛躍」を元に，「育てたい資質」を定義した．この育てたい資質では，学校が目指す生徒像のスキルやコンピテンシーを定義している．

探究通信簿は，3つの要素で作られている．1つ目は探究の進み具合を測る「行動進捗」である．2つ目は，生徒のアウトプットであるプレゼンテーションや資料へのフィードバックである「コンテンツ」である．3つ目は，学校が目指す生徒像を元に作成した「育てたい資質」をゴール像として生徒のスキルやコンピテンシーを測る「成熟度」である．2017年から実際の授業でこのモデルを利用することでブラッシュアップを行い，データを収集し始めている．2019年には探究通信簿のプロトタイプを作成し，実際に生徒に対してトライアルでフィードバックも行った（図3）．2020年から一部の学年でテスト運用を開始することを目標としている．

探究通信簿で「育てたい資質」（図4）の「成熟度」は生徒のスキル・コンピテンシーを指す．成熟度を教師の定性的な感覚だけではなく，定量的に行う試みを行っている．教科の授業内でルーブリックを作成し，教師・生徒がルーブリックを入力することでデータを1年間蓄積している．また，教師と生徒とのコミュニケーションの履歴やプレゼンテーションの結果など学生生活で取得できるさまざまなデータをインプットとして成熟度を作成することを試みている．

プレゼンテーションのアンケート結果や表情解析のデータも成熟度評価のためのインプットとできると考えている．探究基礎では授業の最後にプレゼンテーションを行うことが多いが，本学校で行うプレゼンテーションの内容は前向きな提案であることが多い．そのため，表情は前向きであり，笑顔が出ることが望ましいと考えている．一方で本プロジェクトでは，「探究」を糸口に，さらなる教育の高度化にチャレンジするため，最新のIT技術を活用して，データの取得や分析に取り組みたいと考えていた．青翔開智の「探究基礎」の授業でプレゼンテーションが重要な要素となっていることに着目した．生徒のプレゼンテーション能力の向上や，プレゼンテーション能力に必要な要素の分析にITを活用することで，教育の高度化に貢献できると考えた．そこで感情認識AIである心sensorを利用した実証実験を実施した[2]．

3．心sensorによる分析方法

3.1　システム構成

プレゼンテーションの表情解析には心sensorを利用している．心sensorは，Affdex[3]のSDKを利用したシーエーシーの表情解析アプリケーションである．Affdexは，世界87カ国以上から収集された約800万人の顔画像データを保存・使用している．

心sensorは，PCにインストールして利用する．外付けのUSBカメラやノートPCに内蔵されたカメラの映像から表情を認識し，リアルタイムにターゲットの顔の筋肉のわずかな動きを把握してデータ化し，分析を行う．画像の解析は，リアルタイムおよび録画データの双方で可能である．動画データおよびアプリケーションのみで分析が可能である．数時間のデータを分析する際には高スペックのPCが必要であるが，今回のような数分のプレゼンテーションであれば一般的なノートPCでリアルタイムに分析することが可能である．

3.2　分析方法

心sensorでは，Joy（喜び），Engagement（表情の豊かさ），Disgust（嫌悪），Fear（恐怖），Anger（怒り），Surprise（驚き），Sadness（悲しみ）の7つの感情と，バレンス（ポジティブ，ニュートラル，ネガティブ）を主な指標としている．今回の分析では触れないが，7つの感情とバレンスのほかに，21種類の表情とEngagementを取得している．7つの感情は21の表情を元に分析を行っている（図5）．

本実証では，主に下記の「概要」，「顔検出中のバレンス」，「有意な感情値」の3つの数値結果と，時系列の感情値の変化の目視によって分析を行った．

3.2.1　概要

概要は，動画中で顔が検出できなかった場合，感情ありの割合と感情なしの割合を表示する（図6）．図6の「顔なし」とは，全フレーム数における顔が検出されなかったフレーム数の割合である．「感情なし」とは，全フレーム数における感情値50未満のフレーム数の割合である．「感情あり」とは，全フレーム数における感情値50以上のフレーム数の割合である．

3.2.2　顔検出中のバレンス

顔検出中のバレンスは，顔が検出されたフレームの中で強いポジティブ，弱いポジティブ，ニュートラル，弱いネガティブ，強いネガティブの割合を表示する（図7）．図7の「強いポジティブ」とは，顔が検出されたフレーム数におけるバレンス80以上のフレーム数の割合である．「弱いポジティブ」とは，顔が検出されたフレーム数におけるバレンスが20より大きく，かつバレンスが80未満のフレーム数の割合である．「ニュートラル」とは，顔が検出されたフレーム数におけるバレンスが-20以上，かつバレンスが20以下のフレーム数の割合である．「弱いネガティブ」とは，顔が検出されたフレーム数におけるバレンスが-80より大きく，かつバレンスが-20未満のフレーム数の割合である．「強いネガティブ」とは，顔が検出されたフレーム数におけるバレンスが-80以下のフレーム数の割合である．

3.2.3　有意な感情値

有意な感情は，顔が検出できたフレームの中で，50以上の感情値を計測した感情の割合を表示する（図8）．図8の「Anger（怒り）」「Contempt（軽蔑）」「Disgust（嫌悪）」「Fear（恐怖）」「Joy（喜び）」「Sadness（悲しみ）」「Surprise（驚き）」とは，各感情の感情値50以上のフレーム数合計における各感情値50以上のフレーム数の割合である．

3.2.4　目視分析

心sensorでは時系列でデータ分析を行っているため，いくつかのデータのサマリーとともに目視で時系列の感情変化を見ることで筆者が分析を行ってフィードバックを実施している（図9）．

4．実証実験

一般的に日本人は笑顔で話すのがうまくないと言われるが，表情はプレゼンテーションの評価に大きな影響を与える．一般的なプレゼンテーションや講演では笑顔だけではなく真顔であることや笑顔のバランスなどさまざまな表情の要素が重要となるが，プロジェクトでは生徒のプレゼンテーションについては特に笑顔が重要であると考えた．本プロジェクトでは，心sensorの利用により笑顔やその他の表情に着目することで生徒のプレゼンテーション能力を向上させることができるのではないか，という仮説を立てて実証を行った．「探究基礎」の時間を活用してプレゼンテーション動画から読み取った生徒の表情を心sensorでデータ化し，グラフに解釈を加えることでプレゼンテーションの評価・分析を行った．この分析結果を，普段から生徒を見ている青翔開智の先生方にフィードバックした結果，分析に対して納得感があるという評価を得た．これにより，青翔開智でのプレゼンテーション評価に心sensorを利用し，生徒のプレゼンテーション能力向上に活用可能と判断した．以下に，実証実験の詳細を記す．

4.1　プレゼンテーション分析例

本プロジェクトは2015年から開始しているが，2017年の探究の授業でプレゼンテーション動画を取得して最初の分析を行った．生徒のプレゼンテーションデータをリアルタイムで撮影し，発表者の状態を重ねて定性的に分析を行った．プロジェクト内で発表時の印象と心sensorのグラフを重ね合わせた表が下記である（表1）．最初にしっかり前を向いて喋っているときにはJoyが大きく出ており，バレンスがポジティブになっている．一方でプレゼンテーションの後半で資料に集中しながら話をしており，他のメンバにマイクを渡すときに表情が曇っている．グラフを見ると，後半はJoyもバレンスも低くなっていることが見える．これらのフィードバックを行いながら，生徒の表情とプレゼンテーションの印象には関係があることをプロジェクトメンバで確認した．この分析後にグラフを見ながら教師とも情報交換をし，プレゼンテーションと心sensorの分析結果に関係があるように感じられることを確認した．

4.2　2015年から2019年の分析実施時の課題

プロジェクトメンバが訪問する合間に学校が独自で動画を撮影することも検討したが，生徒のプレゼンテーションを日々撮ることは，会場のセッティングや教師の負荷などから難しかった．特に表情解析を行うためには，正面から表情が分かる形で画像を取得する必要があるため，動画データの収集に手間がかかってきた．たとえば，正確に表情を撮るためには「前髪が眉毛にかからない」，「正面からの映像を撮影する」など，いくつかの制限が発生する．一方で，眼鏡によって動画データを分析しづらいという影響は，ほぼ発生しなかった．

また，青翔開智においてプレゼンテーションはグループで行うことが多く，グループで順番に話をすることが多かった．心sensorでは同時に複数人の表情を解析してログを出力することも可能であり，FaceIDによって顔を見分けている．FaceIDは，心sensorのアプリケーションが顔を認識して自動で付けるユニークなIDであるが，どのFaceIDが誰であるのかを理解し分析するためには動画とログを見ながら理解する必要があり，複数人での画像分析を行うことは現実的ではなかった．

代表者プレゼン等の個人発表の場合には，体育館が会場になることがあった．会場設定の都合上，遠くから映像を撮る必要があり，体育館では会場が暗く，生徒が下を向いて原稿を読み上げながら発表を行うため表情が確認できない，などの要因によりプレゼンテーションをしている生徒の表情を動画撮影することは難しいことが多かった．

本研究の開始当初からアンケート等による生徒のプレゼンテーションの評価と，表情解析の間には相関があることが想定されていた．だが，授業において表情解析とアンケートを同時に取るためには，授業内容に踏み込んで学校とともに計画を立てる必要があり，プロジェクトでデータを集めることは現実的にはできなかった．

この間，青翔開智とともにプロジェクトでは探究通信簿を作成した（図10）．探究通信簿の作成にあたって，生徒の探究実施におけるプロセスごとにルーブリックを作成した．その際にプレゼンテーションのフェーズでもルーブリックが定められた．これ以降の分析においてプレゼンテーションのアンケートにはルーブリックを利用することとしたため，標準的なデータを取得することができるようになった．心sensorで収取するプレゼンテーションの表情解析のデータは，今後，探究通信簿のインプットとして利用することを想定している．現在はデータの加工やインプットなどは検討段階にあり，プレゼンテーションの分析とフィードバックのみに利用している．

4.3　2020年の実証実験の概要

2020年の新型コロナウイルス感染症の影響により，青翔開智では文化祭である青開世界2020をリモート中心で実施した．青開世界2020のコンテンツである書籍紹介の発表を行った3名の動画を分析した．また，実施後に，3名の発表に対してルーブリックの評価を行った（図11）．評価は自己評価と，外部評価（JISAプロジェクトメンバと同校教員）計9名のデータを収集した．青翔開智では，発表評価をルーブリックで標準化しており，発表のフィードバックはルーブリックに基づいて実施している．ただ，今回の文化祭では視聴者からのアンケートを取得していなかったため，分析のために本人およびプロジェクト関係者がアンケートを実施した．そのため，サンプル数は9と少なくなった．

4.3.1　概要分析

生徒A（図12）に関しては，表情を認識できなかった「顔なし」が25％と多くなっている（表2（a））．これは，プレゼンテーション時に顔にマイクがかかっていたためと考えられる．プレゼンテーションを行う際に，マイクを固定して顔に重ならないようにするなどの仕組みが必要と思われる．表情解析で表情を確実に撮影するためには環境の標準化が必要であると考えている．残りの2名の生徒は，マイクを持っていたが顔からの距離が遠かったために，表情を認識している率が高い（表2（b），表2（c））．

4.3.2　ルーブリック評価結果

発表に関するルーブリックは5項目取得した．「6-1研究テーマの分かりやすさ」「6-2研究過程の分かりやすさ」「6-3研究結果の分かりやすさ」「6-4資料の見やすさ」「6-5話し方」の5項目である．このうち，「6-2研究過程の分かりやすさ」は今回のプレゼンテーションでは重視されていない．「6-4資料の見やすさ」は，資料を作成せずにプレゼンテーションを行ったために採点を行わなかった．「6-1研究テーマの分かりやすさ」「6-3研究結果の分かりやすさ」「6-5話し方」の3つの項目について着目するが，表情解析と最も関係するルーブリックは，「6-5話し方」である．

評価者がルーブリックで選択する項目はABCおよびNの4項目である．分析時にはAを5，Bを3，Cを1と置き換えNは評価外とした．外部評価はプロジェクトメンバおよび教師の結果の平均値とした．Nとして評価されている場合には欠損値として扱った．自己評価との比較は，生徒へのフィードバックのために行った（表3（a），表3（b），表3（c））．

4.3.3　顔検出中のバレンス分析

バレンスの割合に着目すると，生徒A（表4（a））は強いポジティブおよび弱いポジティブが20％ほど見られるが，生徒B（表4（b）），生徒C（表4（c））では強いポジティブおよび弱いポジティブの合計が4%を下回っている．弱いネガティブについて，生徒Aは約9%であり，生徒Bは約15%，生徒Cは約13%である．これらを見ると，生徒Aのプレゼンテーションはネガティブに見える場合もあるがポジティブな印象を総合的には受け，生徒Bと生徒Cはネガティブな印象を強く受けることが分かる．

4.3.4　有意な感情値分析

感情を見ると，生徒A（表5（a））はJoyが90％を超え，感情が見える場合にはほとんどが楽しい印象を受けることが分かる．生徒B（表5（b））はSurpriseが90％弱でほとんどを占めている．生徒C（表5（c））はSurpriseが55％，Disgustが22％，Joyが15 ％である．

Joyの割合では生徒Aが圧倒的に多く，生徒C，生徒Bの順に多くなっている．表3のルーブリック評価における「6-5話し方」に着目すると，生徒A（表3（a））は4.50と最も高く，生徒B（表3（b））は2.71，生徒C（表3（c））は3.29である．

4.3.5　目視分析結果

目視で動画と感情値の確認を行うと，バレンスが多く，Joyが多いときには話し方の印象が良い印象を受けているように見える．また，直接プレゼンテーション動画を確認した場合にも，Joyが多いと好印象を受けることがプロジェクトメンバのディスカッションでも合意された．

プレゼンテーションを確認すると，表情だけではなく，活舌や話すスピードなどさまざまな要素に影響を受けていると想定するが，この数字からも表情の影響は大きいように感じられる．

4.4　心sensor導入による知見

4.4.1　プレゼンテーション分析による探究の定量化

探究通信簿で成熟度を作成する際に，トライアル中の現在は授業の中で利用したルーブリックの結果や，教師が評価したコンピテンシーなどを利用している．個々の授業のルーブリック作成時には，「育てたい資質」の37項目のタグの中から3〜4個のタグを選択している．ルーブリックを作成した授業の終わりでは，本人とクラスメイトと教師でルーブリックのデータを入力することでデータを蓄積している．ルーブリックやその他の活動で蓄積したデータを生徒ごとに一覧化し，最終的に教師が判断することでタグごとの数値を確定し，探究通信簿の成熟度を作成している．

図4の「育てたい資質」のタグ12からタグ16で，階層2に表現という項目が定められている．タグ16では「成果物を使って共感を得る発表をすることができる」という項目があるが，この中にはプレゼンテーションも含まれている．プレゼンテーションの評価がタグ16のインプットとして今後利用できると考えている．プレゼンテーションでは発表者の表情も重要な要素であるため，発表時の表情を心sensorでトレーニングすることによって，さらに高度なプレゼンテーションが可能となると考えている．表情解析を含めたプレゼンテーションの結果を探究通信簿に取り込めるように繋げたいと考えている．

4.4.2　教員からの評価

青翔開智ではプレゼンテーションの評価は探究通信簿で「コンテンツ」として定めている．コンテンツの評価は，多くの人の多様性のあるフィードバックを受けることで非評価者が成長すると考えている．そのため，探究の発表を年に1度行っている青開学会ではルーブリックによって来訪者や生徒からプレゼンテーションのアンケートの取得を行っている．

プレゼンテーションの評価は，発表内容，発表資料，話し方や表情などさまざまな要素が影響を与えている．プレゼンテーションを見た際の教師が受ける印象と，心sensorでの表情分析の結果は一定の相関があるという評価を受けている．発表者の表情が明るければプレゼンテーションについても良い印象を受け，発表者の表情が暗ければプレゼンテーションにマイナスの影響を受ける等である．これらを，心sensorとルーブリックによって取得するアンケート結果を受けてさらに分析することで，生徒のプレゼンテーション能力を向上させ，得られたデータを探究通信簿にも反映させることができる可能性があると感じているとの教員評価を受けている．

5．今後の取り組み

生徒のプレゼンテーションを日々撮ることは，会場のセッティングや教師の負荷などから難しかった．特に表情解析を行うためには，正面から表情が分かる形で画像を取得する必要があるため，動画データの収集に手間がかかってきた．そのため，プロジェクトメンバが訪問した際を中心に動画撮影を行い，そのデータを分析してきた．新型コロナウイルス感染症の影響によってプロジェクトメンバは鳥取の青翔開智を訪問することができなくなった一方で，青翔開智がプレゼンテーションを動画配信することが始まった．動画配信の機会を活用して分析を行う機会を作ることが自然とできるようになってきた．そこで，今後は表情解析を行いつつプレゼンテーションのフィードバックを行う機会を増やしたいと考えている．

今後の計画として，2021年2月に青開学会を動画撮影する予定となっている．その場を活用して表情解析によるプレゼンテーション高度化の実証する予定である．まず，本番前の練習中に生徒のプレゼンテーションの表情を取得・分析し，生徒自身にフィードバックする．その際に，本番前のプレゼンテーションでも本人や他の生徒からプレゼンテーションのルーブリックを取得することを想定している．2月の青開学会でプレゼンテーションを行う際にも動画撮影を行い，プレゼンテーションの表情を分析し，ルーブリックのデータも取得する．これによって，練習前から本番後の表情およびルーブリックを取得することができる．プレゼンテーションの表情解析の結果のフィードバックが，プレゼンテーションの評価向上に役立つという仮説の検証に役立てることを想定している．

6．まとめ

我々のプロジェクトの目標はデータを活用したプロジェクトの高度化である．その中で，データを活用していくためには，今後生徒のさまざまな情報を取得し，それらを蓄積・分析して生徒の学習にフィードバックすることが重要であると考えている．プレゼンテーションにおける発表者の表情は，発表内容とともに重要な要素となると我々は考えている．プレゼンテーションにおけるさまざまなデータを取得して探究通信簿のインプットとすることは長期的に生徒の能力を伸ばす1要素となると考えている．

実証実験の結果から，プレゼンテーション時の表情は，プレゼンテーションの印象に大きな影響を与えているように見える．実証実験を積み重ねることで，プレゼンテーションに与える表情の影響のデータを蓄積したいと考えている．また，プレゼンテーション時に表情を含めた訓練を行うことで，プレゼンテーションの評価が高まると考えている．青翔開智でのプレゼンテーション練習と発表を通して，実証を続けたいと考えている．

課題としては，プレゼンテーションの動画と，アンケート結果の両方のデータが少ないため，統計的な分析にまでつなげることができていない状況である．今後，青翔開智の協力の下で動画データの取得とアンケートの取得を強化したいと考えている．

プレゼンテーションは生徒のみではなく社会人にとっても重要な要素となっている．その中で，プレゼンテーターの表情が受け手に及ぼす影響は少なくないと認識している．生徒がプレゼンテーションの表現力を鍛える一手段として表情解析とフィードバックを通したプレゼンテーションのトレーニングに繋げたいと考えている．