トランザクションデジタルプラクティス Vol.4 No.2(Oct. 2023)

NCPR講習を支援するデブリーフィング教材自動生成システムの開発と評価

西本 騰1  安藤 潤人1  野間 春生1  岩永 甲午郎2

1立命館大学  2京都大学 

新生児蘇生法(以下NCPR:Neonatal Cardio-Pulmonary Resuscitation)講習では,生徒本人が自身の行動の誤りや,意味について自分で「気づく」ことが重要視されている.生徒に対して「気づき」を促すために,実習後に自身の行動を振り返り,話し合うデブリーフィングが行われる.デブリーフィング手法の1つに,ビデオを用いたデブリーフィング(以下VAD:Video-Assisted Debrief)が存在する.VADには,VAD実施に掛かる時間コスト,VAD実施に掛かる人材・機材の導入コストの課題があり,NCPR普及の妨げになっている.本研究は,IT技術によってNCPR普及を支援することを目的とし,NCPR普及の妨げとなる前述の2つの課題を解決するために,VAD教材自動生成システム(A-VADシステム:Advanced-Video-Assisted Debrief System)の開発を行った.A-VADシステムは,四種類の手技を認識し,手技によるチャプター分けをしたVAD教材を自動生成する.A-VADシステムの効果検証として,講師に対してアンケート調査を行い,アンケート結果の分析を行った.その結果,A-VADシステムがデブリーフィングに対して有効であることを示した.そして,VADにおける2つの課題(時間・導入コスト)に解決の道筋を示した.

新生児蘇生講習,ビデオデブリーフィング,行動認識

Development and Evaluation of Automatic Generation System for Debriefing Materials to Support NCPR Training Workshop

Noboru Nishimoto1  Mitsuhito Ando1  Haruo Noma1  Kogoro Iwanaga2

1Ritsumeikan University, Shiga 525–0058, Japan  2Kyoto University, Kyoto 606–8303, Japan 

In Neonatal Cardio-Pulmonary Resuscitation (NCPR) training workshop, participants need to be “awareness” of the errors and implications of their actions. There are methods to promote “awareness” among trainees; one such debriefing method is Video Assisted Debriefing (VAD). In previous studies, we found the following issues in VAD. NCPR has not widely spread, the reason is the time cost of VAD implementation and the cost of human resources and equipment for VAD implementation. The aim of this study is to spread NCPR through information technology. In this study, we developed Advanced-VAD (A-VAD) system to solve the above problem. The A-VAD system recognizes four techniques. The system also bookmarking timing and types of the process automatically by using machine learning. We conducted a questionnaire survey of NCPR instructors and analyzed the survey results. As a result, We found A-VAD system effective for debriefing. Finally, We partially solved two problems (The time cost & The human and equipment cost).

Neonatal Cardio-Pulmonary Resuscitation (NCPR), video-assisted debrief, action recognition

1. はじめに

日本周産期・新生児医学会では「すべての分娩に新生児蘇生法を習得した医療スタッフが新生児の担当者として立ち会うことができる体制」の確立を目標に,2007年から新生児蘇生法(NCPR:Neonatal Cardio-Pulmonary Resuscitation)普及事業を開始した[1].しかしながら,講習開催資格を有する講師の不足,講習を効果的に運営するための機材の不足などの課題がある.NCPR講習は講義と実習,デブリーフィングから構成される.講義では基本的な知識を説明し,実習では新生児を模したシミュレータを使用し,実習を行う.そして最後にデブリーフィングが行われる.

先行研究ではデブリーフィングを支援するため,我々はVAD(Video-Assisted Debrief)システムを有するシミュレータを開発した[2].検証実験の結果,開発したシミュレータを使用することによって,リアリティの向上,実習中の講師の負担を軽減する効果が認められた.一方で,開発シミュレータに内在するVADシステム部分については一部課題が残っている.講習中に高度なマルチタスクを行う講師は,時間・導入コストの課題から,VADシステムを用いても十分なデブリーフィングを実施できていない.

本研究の目的は,NCPR普及を情報技術によって支援することである.そこで,本研究は,NCPR普及の妨げとなっている前述の2つの課題(時間・導入コスト)を解決するために,VADシステムを拡張し,A-VAD(Advanced-Video-Assisted Debrief)システムを提案する.先行研究の実証実験の結果から,A-VADシステムへの機能面での要求条件を設定し,その要求を満たす新機能を開発した.さらに,効果検証のために行った実験,実験結果の考察について述べる.

2. 関連研究と課題

本章では,関連研究を例に挙げながら,NCPR訓練用シミュレータを取り巻く課題,現状のNCPR講習におけるデブリーフィングの課題,先行研究において解決できなかった課題について述べる.

2.1 NCPR訓練用シミュレータ

NCPR講習に用いられるシミュレータには,大別して高価な高機能シミュレータ,安価な低機能シミュレータが存在する[3].一般医院では,予算の問題から高価な高機能シミュレータは導入できないため[4],安価な低機能シミュレータが主に普及している.しかしながら,低機能シミュレータには,高機能シミュレータが有するバイタルサイン(心拍数・泣き声)の再現機構が備わっていない.そのため,低機能シミュレータを使用した講習では,バイタル再現のために代替手法(例:机を叩いて心拍数,声真似で泣き声を再現)を用いる[1].したがって,高機能シミュレータと比べた際の講師の負担,生徒に提示する情報のリアリティの欠如が課題となっていた.そこで,先行研究では,低機能シミュレータにスマホアプリ,電子部品を用いて作成した模擬医療機器を付け足すことによって,学習効果が高く,導入コストを抑えたシミュレータを開発した[2](図1).

先行研究にて開発したシミュレータ Simulator developed in preceding research.
図1 先行研究にて開発したシミュレータ
Fig. 1 Simulator developed in preceding research.

2.2 VADの利点と課題

NCPR講習で行われるデブリーフィング手法には,大別して,口頭でのデブリーフィング(VD:Verbal Debrief),ビデオを用いたデブリーフィング(VAD:Video-Assisted Debrief)の2つの手法が存在する.本章では,関連研究を例に挙げつつ,VDと比較した際のVADの利点と課題について述べる.

2.2.1 VADの利点

VADの利点として,「生徒が自身の手技を客観視できること」,「生徒の発言できる場作りができること」の2つが先行研究から分かっている[2].以下,その詳細について述べる.

第一に,「生徒が自身の手技を客観視できること」について述べる.医療シミュレーション分野においては,VADを繰り返すことによって,自己省察(自分で自身の行った行為・行動について,反省して考えること)が促され,手技技術の向上[5],蘇生ガイドラインの遵守率の改善につながる可能性が示唆されている[6].また,VADでは,シミュレーション中に起こった内容についてビデオを用いることで客観視できる.これにより,自分の誤った記憶に左右されること無く,自身の行動を客観的に理解することで,「気づき」を催すことができる[7].

第二に,「生徒の発言できる場作りができること」について述べる.ビデオを用いることによって,周りの他の受講者と状況を共有することが容易になり,デブリーフィング中の受講者の学習に対するモチベーションの向上,自発的・積極的に発言を行える場を作ることが可能になる.

このように,VADには,自己の客観視や手技技術の向上,自己省察の促進,学習のモチベーション向上などの利点が先行研究から認められている.また,NCPRガイドライン2020 [1]においても,デブリーフィング手法として,VADが推奨されている.しかしながら,VADは広く実施はされていない.次項にて,その詳細を述べる.

2.2.2 VADの課題

前項にて,VADには多くの利点があることを示した.一方で,NCPR講習において,VADは広く実施はされていない.その原因は,VAD実施の困難さ(時間・導入コスト)に起因すると考えられた.そこで,我々は,前述の2つの課題(時間・導入コスト)を解決するためVADシステムを開発した.しかしながら,時間・導入コストの完全な解決には至らなかった.以下,その詳細について述べる.

第一に,時間コストについて述べる.VDの場合,数分でデブリーフィングを終え,すぐさま次のシナリオ演習を行うことができる.一方で,VADの場合,指摘したい重要なシーンの秒数を記憶していなければ,ビデオを全編視聴する必要がある.また,シナリオ演習と同じ時間(特定の部分を繰り返し視聴した場合には,それ以上の時間)を費やすことになる.さらに,デブリーフィングで話題にしなくともよい場面を視聴することにもなり,生徒の集中力が途切れるなど効果的でない場合も多いと指摘されている[8].先行研究では,この問題の解決のために,ブックマーク機能を持つVADシステムを実装した(図2).しかしながら,講師は,シナリオ演習の際にブックマーク(記録)したシーンの詳細な内容を,デブリーフィングの際に思い出すことができなかった.このことから,ブックマーク機能のみではVADの円滑な実施は困難であり,時間コストに課題を残していることが分かる.

VADシステムの画面 Screen of the VAD system.
図2 VADシステムの画面
Fig. 2 Screen of the VAD system.

第二に,導入コストについて述べる.広く一般的に行われているデブリーフィングは,VD(口頭で行われるデブリーフィング)である.これは,VADの導入・実施が困難なことが理由である.具体的には,講習の様子を撮影するビデオカメラ,そのビデオの録画開始,停止を行う人員が必要であること,多くの病院では人員・機材を用意できず[9], [10],知見も少ないことが原因である.先行研究では,この問題の解決のために,機材の面では,一般的に普及しているスマートフォンを利用することによって導入コストを抑えた.しかし,人員の面では,新人講師は一人ではデブリーフィングを実施できず,ベテラン講師が補助に入る形でデブリーフィングを実施したため,導入コストに課題を残している.

我々は,先行研究において手動のブックマーク機能を有するVADシステムを開発し,その有効性を示した.一方で,依然として,VADシステムには導入・時間コストに課題があり,NCPR普及の妨げになっていると考えられた.

前述の課題の解決案として,先行研究にて,VAD教材を使用した講師の意見から,ブックマーク機能の自動化によって,講師の負担を軽減できる可能性が示唆されている[2].そこで,我々はVADシステムを拡張し,自動ブックマーク機能,VAD教材の自動生成機能を有するA-VADシステムを開発する.

3. A-VADシステムへの要求条件

我々は,NCPR普及を妨げる2つの課題(導入・時間コスト)を解決のために求められる3つの要求条件を(生徒の行動を自動認識,VAD教材を自動生成,高ユーザビリティ)設定した.そして,3つの要求条件を満たすA-VADシステムを開発した.以下,その詳細を述べる.

第一に,生徒の行動を自動認識する機能を実装した.先の実験から,講師が手動で行うブックマーク機能だけでは,VADを十分に実施できないことが分かっている.そこで,VADの円滑な実施のために,生徒の行動を自動認識する機能を開発した.具体的には,A-VADシステムは,NCPR講習中に行う四種類の基本手技(気管挿管・聴診・人工呼吸・胸骨圧迫)を認識し,自動的にブックマークを行う機能を実装した.

第二に,VAD教材の自動生成機能を実装した.先の実験から,講師には高度なマルチタスクが求められるために,ブックマーク機能を使用する余裕がないことが分かっている.そこで,講師の負担軽減のために,教材の自動作成機能を開発した.具体的には,A-VADシステムは,行動認識結果,撮影したビデオに対してマルチメディア処理(行動認識結果の処理,テキスト・動画サイトへの投稿処理)を施すことによって,教材を自動的に生成している.

第三に,高ユーザビリティを目指した.NCPR講習の実施のために,講師には高度なマルチタスクが求められる.このため,操作が複雑なシステムを開発したとしても,十分に機能を使いこなすことは困難と考えられる.そこで,講師の負担軽減のために,A-VADシステムは,講習を運営する講師にとって,操作が簡便なシステムとした.

4. A-VADシステムの設計

前述の3つの要求条件を満たすA-VADシステムの設計について述べる(図3).A-VADシステムは,生徒の行う処置(聴診・気管挿管・人工呼吸・胸骨圧迫)を画像認識モデルによって自動認識し,画像認識モデルの結果・カメラ映像に対してマルチメディア処理を行い,動画・テキストサイトに投稿処理を行うことで教材を自動生成する.

システム設計 System design.
図3 システム設計
Fig. 3 System design.

4.1 開発環境

A-VADシステムの開発環境や開発期間について述べる.開発言語はPython(バージョン3.9.0),画像認識のためにGoogle Inc.の提供するクラウドサービスGoogle AutoML Video Intelligence(以下:GVI)を利用している.また,A-VADシステムの開発期間は3ヶ月,開発規模は約500行である.動作環境としては,macOS Venturaバージョン13.3を搭載したApple M1 Mac mini(16 GBメモリ・SSD 2 TB)を採用している.Pythonを開発言語として選択した理由は,A-VADシステムに求められる機能の実装に適したライブラリが充実しており,A-VADシステムには高速なリアルタイム性が絶対条件ではないことから,研究用途の試作機開発における開発速度の向上を目的として採用している.

4.2 画像認識モデル

生徒の行動を自動認識する画像認識モデルについて述べる.そこで,10名の講師を対象に選択式アンケートを行い,認識するカテゴリを検討した.そして,アンケートの結果,半数以上の講師が認識したい手技として選択し,なおかつ,NCPRにおいて頻出する四種類の基本手技,気管挿管・聴診・人工呼吸・胸骨圧迫を認識対象とした.画像認識には,GVIのショット検出機能[11]を用いる.

4.3 マルチメディア処理

VAD教材を自動生成するマルチメディア処理について述べる.PC上にて,画像認識の結果,カメラから得た映像を処理し,動画・テキストサイトに対して投稿処理を行うことで,教材を自動生成する.教材は,講習中の動画を再生可能かつ,処置の種類・開始時間を閲覧可能である.また,ネット上のサービスを利用しているため,教材の共有が容易である.さらに,一般的に普及している動画共有サービスYouTube,Web上の情報管理・共有サイトScrapbox [12]を用いることで,ユーザビリティの向上を狙っている.

YouTube・Scrapboxを採用した理由は,他の競合サービスと比べ,APIやHTTPリクエストによって,投稿処理をプログラムによる自動化が可能なこと,研究用途の試作品としての開発速度を早めるために既存のサービスを利用している.なお,YouTube・Scrapboxは無料のサービスの範囲内で利用している.

5. 手技の自動認識

本章では,画像認識による手技の自動認識の手法,認識結果,認識精度向上のための工夫について述べる.

5.1 Google AutoML Video Intelligence (GVI)

先行研究におけるGVIとYOLOv5の手技認識タスクの性能比較実験の結果から,YOLOv5と比して,GVIが高い認識率を示した[13].さらに,GVIはWebベースのAPIであるため,ローカルPCの計算能力を必要とせず,導入コストを削減可能である.これらの理由により,A-VADシステムの手技認識にGVIのショット検出機能を用いた.ショット検出機能は検出するシーンのカテゴリ,シーンの開始・終了時間によって学習が可能であり,Bounding Box(検出対象とするオブジェクトを最小限の長方形で囲った部分領域)を必要としない.そのため,学習データの作成時間を短縮できることも利点である.なお,GVIは有料のサービスを利用しているが,実験段階では,付与された無料クレジットの範囲内で利用している.

5.2 学習に用いた動画

学習には,講習中に撮影した動画データを用いた.認識カテゴリは,NCPRにおいて頻出する四種類の基本手技(気管挿管・人工呼吸・聴診・胸骨圧迫)および,同一フレーム内で複数の基本手技が行われる二種類の複合カテゴリ(人工呼吸+胸骨圧迫・人工呼吸+聴診)からなる(図4).

認識カテゴリ Recognition categories.
図4 認識カテゴリ
Fig. 4 Recognition categories.

カスタムデータセットは,NCPR講習の知識を有する実験者自身が,これまでに撮影した300時間分の講習動画から,目視にて動画の切り出し処理を行い,作成した.学習に必要とされる動画の長さは,動作の開始から終了までの一連のショット,解像度は480 p以上,ファイル容量は一動画約2 MB~10 MB,本数は一カテゴリ100本以上を満たす.これらの本数・長さについては,GVIの公式リファレンスに従い決定した.なお,カスタムデータセットの内訳は,人工呼吸+胸骨圧迫:236動画,人工呼吸+聴診:345動画,気管挿管:126動画,人工呼吸:345動画,聴診:173動画である.また,トレーニングに掛かった所要時間は30分程度である.なお,これらについては,F値が最大となる点を選択している.

学習用の動画を撮影する際のカメラの設置条件としては,生徒の頭や背中によって,手技を行っている手元が隠れないよう,上から俯瞰する形で撮影することが望ましい.なお,カメラの解像度については,480 p以上であれば認識ができることを確認している.また,A-VAD教材のための動画を撮影する際にも同様の条件による撮影が望ましい.

GVIは,DPマッチングによって,動画のショット内での特徴量から一致率を計算しているとされる[14].このため,同一フレーム内で2つの手技,手技Aと手技Bは,一致率が低下すると考えられる.そこで,同一フレーム内で2つの手技,手技Aと手技Bが行われる場合を複合カテゴリ:手技A+B(図4e,f)として認識し,認識の後,手技A+Bを手技A,手技Bとして分割し,精度向上を図った.

複合カテゴリの組み合わせは最大で六種類である.しかしながら,本研究において,認識対象とした複合カテゴリは二種類であり,その他四種類の複合カテゴリは認識対象としていない.これには2つの理由が存在する.第一に,同じ部位に対する手技のために実施が困難(頭に対する手技同士の組み合わせ:人工呼吸+気管挿管,胸に対する手技同士の組み合わせ:胸骨圧迫+聴診)なため.第二に,講習において実施されることが少ないため(気管挿管+聴診,気管挿管+胸骨圧迫)である.

5.3 学習結果

平均適合率0.76,適合率0.75,再現率0.67を示した.混合行列については以下を示した(図5).誤認識については,単一カテゴリに関しては,同じ部位に対して行われる手技に対して,誤認識が多くみられた.具体的には,頭部に対して行う手技となる気管挿管と人工呼吸,胴体に対して行う手技となる胸骨圧迫と聴診である.複合カテゴリ(人工呼吸+胸骨圧迫・人工呼吸+聴診)の一致率は70%以下を示した.

画像認識モデルの混合行列 Confusion matrix of the image recognition model.
図5 画像認識モデルの混合行列
Fig. 5 Confusion matrix of the image recognition model.

各カテゴリの誤認識については,複合カテゴリ:人工呼吸+胸骨圧迫は,単一カテゴリ:人工呼吸・胸骨圧迫と混合し,複合カテゴリ:人工呼吸+聴診は,単一カテゴリ:人工呼吸と混合している.これは複合カテゴリの場合においても,単一カテゴリと特徴量が類似するためと考えられた.その一方で,類似カテゴリ(聴診と人工呼吸+聴診,人工呼吸+胸骨圧迫と人工呼吸・胸骨圧迫,人工呼吸+聴診と人工呼吸)を合わせると,認識率は85%以上を示す.

5.4 認識精度向上のための工夫

さらなる認識精度の向上のために,Sliding-window法とNCPRアルゴリズム(JRC蘇生ガイドライン[15]によって策定されている新生児の出生から救命までの流れ,および手技・蘇生の判断の基準)を手がかりとした校正処理を行った.以下,2つの手法の詳細を述べる.

第一に,Sliding-window法を用いた精度向上手法について述べる.カメラの角度が適切でない場合や,複数の生徒が訓練を行う場合,生徒の背中や頭によって,処置を行っている手元が映されない瞬間が発生し,その瞬間は認識率が低下しやすい傾向にある.そこで,ショット検出における誤認識を抑制し,手技の継続を認識するために,Sliding-window法を用いた.1フレーム1秒として,ウィンドウ幅は5フレーム,ステップ数は2フレームに指定した.

第二に,NCPRアルゴリズムを手がかりとした校正処理について述べる.校正処理として,開始からの経過時間を参照し,NCPRアルゴリズム上起こり得ない手技を認識結果から除外している.誤認識の傾向として,開始から30秒前後,生徒が医療器具の確認や新生児の皮膚乾燥を行う際の手の動きを既存のカテゴリ(胸骨圧迫・人工呼吸)として誤認識している.NCPRアルゴリズムでは,開始30秒前後は,聴診や気管挿管が行われるため,胸骨圧迫,人工呼吸が行われることは少ない.そこで,開始30秒前後の胸骨圧迫,人工呼吸が認識された場合,認識結果から除外している.

精度検証のために,四種類の基本手技が出現する動画に対して,ショット検出のみで手技を認識した場合(処理なし1))と,ショット検出に加えて,前述の処理を行って手技を認識した場合(処理あり2))の二条件にて,比較を行った(表1).その結果,処理あり2)は処理なし1)と比較して,胸骨圧迫の適合率を除いた,すべての手技の再現率,適合率について向上がみられた.このことから,Sliding-window法とNCPRアルゴリズムを手がかりとした校正処理を行うことで,認識精度を向上できたことが分かる.

表1 処理あり・なしの比較(*精度が向上した項目)
Table 1 Comparison between with and without processing (*Indicates items where accuracy has improved).
処理あり・なしの比較(*精度が向上した項目) Comparison between with and without processing (*Indicates items where accuracy has improved).

6. VAD教材の自動生成機能

本章にて,VAD教材の自動生成機能の詳細について述べる.教材は,ショット検出によって得られたカテゴリ・タイムスタンプを用い,YouTubeのチャプター機能を利用して生成している.これにより,講習中に行った手技の種類,タイミングを可視化している(図6).また,一連の処理はPython上のプログラムで行われ,プログラム全体はPythonによって記述されている.ユーザが行う操作としては,指定のフォルダに動画を移動させ,プログラムを実行するのみであり,A-VAD教材は自動的に作成される(図78).

自動生成したVAD教材 Automatically generated VAD educational material.
図6 自動生成したVAD教材
Fig. 6 Automatically generated VAD educational material.
A-VADシステム全体図 Overall diagram of the A-VAD system.
図7 A-VADシステム全体図
Fig. 7 Overall diagram of the A-VAD system.
A-VADシステム シーケンス図 Sequence diagram of the A-VAD system.
図8 A-VADシステム シーケンス図
Fig. 8 Sequence diagram of the A-VAD system.

なお,後述するYouTubeへの投稿は,YouTube APIを用いてプログラムによって自動的に行われる.また,戻り値である「動画URL」は,GVIの画像認識の結果から,動画をチャプター分けしたものを自動的に返す.

YouTubeのチャプター機能は,複数のカテゴリの継続タイミングが重なる場合,複数のカテゴリを切り分けた表記が困難である.そのため,Web上の情報管理/共有システムであるScrapboxを使用し,擬似的に複数のカテゴリの同時生起を表現している(図6).ここでは人工呼吸と胸骨圧迫が重なっている.また,講師や生徒は,自動生成された教材に加筆修正することができる.さらに,既存のサービスであるScrapboxを使用することで,開発コストを抑えた.なお,Scrapboxへの投稿処理については,HTTPリクエストを用いて行っている.A-VADシステムが対象とするシーンは,シナリオ演習の一シナリオ分(新生児の出生から,処置の終了まで)となっており,対象とする動画についても,これに従う.典型的な動画の再生時間は約3~5分,ファイル容量は約20 MB~60 MBである.なお,A-VAD教材の自動生成に掛かる所要時間は,動画の再生時間と同等程度である.

7. A-VADシステムの性能・効果検証

A-VADシステムの性能・効果検証のため,評価実験を行った.本章では,評価実験の内容,その結果について述べる.

7.1 評価実験

実験対象者は,NCPRインストラクター(NCPRに関する技術・知識を有し,NCPR講習の開催資格を持つ)であり,なおかつ,勤続年数10年以上の医療関係者10名である.検証実験は,コロナ禍における感染症対策のために,リモート・非対面にて行った.具体的には,A-VADシステムによって作成した教材をインターネットによって共有,デブリーフィングを想定して使用させ,アンケートを行った.アンケートの内容は,画像認識の精度,講師の負担,A-VADシステムの導入の効果,A-VADシステムのユーザビリティを問う4つの項目からなるアンケートを,10名に対して行った.後日,アンケート結果を分析し,A-VADシステムの評価を行った.アンケートは,回答者の回答を誘導しないようシステムに対し,肯定的な選択肢と否定的な選択肢を併記した.

7.2 実験結果

評価実験の結果を以下の項にて述べる.対象とした評価項目は,画像認識の精度,講師の負担,A-VADシステム導入による効果,A-VADシステムのユーザビリティ,A-VADシステムに求められる追加機能である.

7.2.1 画像認識の精度

四段階の選択肢応答にて,手技の開始シーンのタイミングが講師の認識と一致しているか検証した(表2).

表2 画像認識の精度
Table 2 Accuracy of Image Recognition.
画像認識の精度 Accuracy of Image Recognition.

最も肯定的な選択肢,「一致していた」については,30%を超え,次点で肯定的な選択肢,「ある程度一致していた」を含めると,肯定的な反応が80%を超える結果となった.このことから,画像認識による手技認識の結果が,講師の認識とほぼ一致していることが分かる.

画像認識による手技認識の結果が,講師の認識と一致しなかった部分については,「(教材において)気管挿管として設定しているカテゴリは(講師の認識では)正しくは吸引である」との自由記述の回答から,設定した学習データに間違いがある可能性が示唆された.

7.2.2 講師の負担

本研究では,VD,A-VADシステムを用いたデブリーフィング(以下,A-VAD)を講師の負担の観点から検証した.シナリオ講習時の講師のタスク[1]を負担の順にランク付けし,並べ替え問題を実施した.並べ替え問題における7つの選択肢の重みは,1~7の段階的に設定した(例:最も負担が重い:7,二番目に負担が重い:6).その後,各項目の平均値と,その差分を計算し,結果を分析した(表3).

表3 VDとA-VADの負担の順位比較
Table 3 Comparison of burden rankings between VD and A-VAD systems.
VDとA-VADの負担の順位比較 Comparison of burden rankings between VD and A-VAD systems.

VDとA-VADの比較では,「補助教材の準備・使用」の項目で平均値が1.9ポイント増加した.「補助教材の準備・使用」については,シナリオトレーニングに用いる学習教材を適切に準備・使用することが重要とされる.一方で,「次の目標を立てる・再トライ」の項目では平均値が1.8ポイント減少した.「次の目標を立てる・再トライ」については,目標を具体的に構成し直すことや学習者の行動変容の確認,学習者への動機づけが重要とされる.

7.2.3 A-VADシステム導入による効果

A-VADシステム導入による効果を検証するために,A-VADと,VADを比較した際の違いについて,選択式応答にて評価を行った(表4).10名中9名の回答者がA-VADシステムに対し,肯定的な評価を行った.具体的な評価内容は「振り返りにかかる時間が短くなる」,「指摘したいシーンを探す時間を短縮できる」,「生徒に対して指摘をしやすくなる」である.また,A-VADシステムに対する否定的な評価は認められなかった.

表4 システム導入の効果
Table 4 Effects of system implementation.
システム導入の効果 Effects of system implementation.
7.2.4 A-VADシステムのユーザビリティ

A-VADシステムのユーザビリティ評価として,選択式応答を用いた.結果として,6名の講師が「戸惑う場面があった」と回答した.また,「戸惑う場面があった」と回答した6名に対して,追加の質問を行った.その結果,6名中4名から「戸惑いは何度かシステムを触ることによって解消された」と回答を得た.最終的に,80%の被験者がA-VADシステムの使用する際に戸惑いがなかったと評価している.

8. 考察

本研究では,先行研究で開発した学習効果が高く,導入コストの低い新生児蘇生法訓練用シミュレータを拡張し,A-VADシステムを提案した.以下,A-VADシステムが設定した3つの要求条件(生徒の行動の自動認識,VAD教材の自動生成,高ユーザビリティ)を満たしたか,A-VADシステムによる効果,追加機能について考察する.

8.1 A-VADシステムは要求条件を満たしたか

第一に,生徒の行動の自動認識機能について述べる.A-VADシステムは,NCPRにおける四種類の基本手技(気管挿管・聴診・胸骨圧迫・人工呼吸)を85%以上の精度で自動的に認識可能である.また,アンケート結果から(表2),画像認識の精度は,NCPRに関する知識・技術を有する講師の認識と遜色がないことが分かる.

第二に,VAD教材の自動生成機能について述べる.A-VADシステムの一連の処理はプログラム上で行われ,Python上のプログラムを実行するだけで,撮影した動画から教材の自動生成が可能である.動画とチャプターから,手技の種類およびタイミングを参照しながらVADを行うことが可能である.認識が一致していない部分については,学習データのカテゴリ設定の間違いが起因した誤認識が認められた.そのため,NCPR講習に関する知識を持った医療関係者による教師データのカテゴリの再設定を行った後,機械学習モデルの再学習が必要である.

第三に,A-VADシステムのユーザビリティについて述べる.A-VADシステムは,一般的に操作が自明な動画共有サイトYouTube,テキスト共有サイトScrapboxを用いており,操作が簡便である.7.2.4項にて実施したアンケート結果からも,システムに数度使用することによって,10名中8名の講師が戸惑いなく使用できたと回答を得ている.このことから,A-VADシステムにて作成した教材は高ユーザビリティだと分かる.

以上の考察より,A-VADシステムは,当初設定した3つの要求条件を満たす.

8.2 A-VADシステムを用いたVADへの効果

A-VADシステムを用いることによって,従来のVADと比較して,「デブリーフィングにかかる時間の短縮」,「指摘したいシーンを探す時間を短縮」,「生徒に対して指摘をしやすくなる」と,過半数の講師から評価を得た(表4).以下,各評価項目について考察する.

第一に,「指摘したいシーンを探す時間を短縮」について考察する.これは,A-VADシステムが,講師の行っていたタスクを代行することで,指摘したいシーンを探す時間を短縮できるためと考えられた.具体的には,従来のVADの場合は,講師が記憶を頼りに指摘したいシーンを探す,または,手動でブックマークする.その一方で,A-VADでは,A-VADシステムが指摘したいシーンを自動的にブックマークするため,従来のVADと比べ,シーンを探す時間が短縮できると考えられた.

第二に,「デブリーフィングにかかる時間の短縮」について考察する.これは,指摘したいシーンを探す時間を短縮できたことで,デブリーフィングにかかる時間を短縮できるためだと考えられた.また,このことから,従来のVADと比べ,A-VADでは,時間コストが削減できたことが分かる.

第三に,「生徒に対して指摘をしやすくなる」について考察する.これは,自動的に生成されたVAD教材が,手技の種類・タイミングが可視化したことによって,講師の指導を補助できたためと考えられた.このことは,従来のVADと比べ,A-VADでは講師の負担を削減されたことを示唆する.

また,A-VADシステムは,VADを行うための機材を安価に提供することが可能である.これらのことから,A-VADシステムによって,人員・機材の両面で導入コストを削減できたことが分かる.

以上の考察から,講習実施において,A-VADシステム導入による悪影響は薄く,システム導入によって,デブリーフィングの時間短縮・指摘を行いやすくなるなど,講習に望ましい効果があると考えられた.A-VADシステムがNCPR普及の妨げとなっていたVADの課題(時間・導入コスト)の解決に寄与できたことが分かる.

9. 結論

本研究の目的は,NCPR普及を情報技術によって支援することにある.そこで,本研究は,NCPR普及の妨げとなっていたVADにおける2つの課題(時間・導入コスト)の解決を目指した.課題解決のために,我々は,先行研究から3つの要求条件(生徒の行動を自動認識,VAD教材を自動生成,高ユーザビリティ)を設定した.そして,設定した3つの要求条件を満たすA-VADシステムを開発し,その性能を検証した.A-VADシステムは,Google Video Intelligenceによるショット検出を行う画像認識モデル,画像認識の結果から,YouTube・Scrapboxを用いて教材を作成するデブリーフィング教材作成モデルからなる.

A-VADシステムは,手技の認識にショット検出の認識結果に対して,スライディングウィンドウ法と校正処理を行っている.検証実験の結果,A-VADシステムによる手技の認識精度は,講師の認識と遜色がなく,生徒の行動を自動認識できることを示した.また,VAD教材はPythonによって自動的に生成される.さらに,A-VADシステムは一般的に操作が自明な動画共有・テキストサイトを用いているため高ユーザビリティであり,先に設定した3つの要求条件(生徒の行動を自動認識,VAD教材を自動生成,高ユーザビリティ)を満たす.また,実験結果からA-VADシステムによって,NCPR普及の妨げとなっていたVADにおける2つの課題(時間・導入コスト)に解決の道筋を示した.

A-VADシステムは,認識モデルを変更することで検出可能なシーンの変更が容易であり,学習データについても,Bounding Boxを必要としない.このため,認識モデルの作成が比較的容易である.したがって,NCPRのみならず,成人心肺蘇生に用いるAED講習や,工場における製品検査にもA-VADシステムは応用が容易と考えられる.

今後の展望として,リアルタイムのストリーミング動画に対してショット検出を行い,シナリオ演習からデブリーフィングまでのシームレスな移行,講師からの要望で多くみられた,生徒同士のチームワークの識別・評価機能,胸骨圧迫や人工呼吸が適切な回数・圧力で行われたかを計測・評価する,手技の質の計測・評価機能の実装を目指す.

謝辞 本研究の趣旨に賛同していただき,快く協力していただいた医療関係者の皆様に深く感謝いたします.

参考文献
  • [1] 細野茂春:日本版救急蘇生ガイドライン2020に基づく第5版 新生児蘇生法インストラクターマニュアル2020,メディカルビュー社 (2021).
  • [2] 西本 騰:新生児蘇生訓練のための新生児人形を用いたシミュレータの開発,情報処理学会論文誌デジタルプラクティス,Vol.3, No.4 (TDP9) (2022).
  • [3] 阿部幸恵:医療におけるシミュレーション教育,日本集中治療医学学会雑誌,Vol.23, No.1 (2016).
  • [4] 田村美子:小児看護学におけるケアリングを育むシミュレーション教育,看護・保険科学研究誌 (2013).
  • [5] 河合裕子:急変時対応シミュレーション教育におけるビデオを用いた振り返りの有用性,日本シミュレーション医療教育学会雑誌,第7巻 (2019).
  • [6] Skare: Implementation and effectiveness of a video-based debriefing programme for neonatal resuscitation, Acta Anaesthesiol Scand (2018).
  • [7] 阿部幸恵:シミュレータを活用した看護技術指導,日本看護協会出版会 (2008).
  • [8] 阿部幸恵:臨床実践力を育てる!看護のためのシミュレーション教育,医学書院 (2013).
  • [9] 堀 理江:看護基礎教育における高性能シミュレータを用いた心肺蘇生演習の学びと課題,ヒューマンケア研究会誌,Vol.4, No.1 (2012).
  • [10] 松田直正:高性能乳児医療トレーニングシミュレータ“シムベビー”を活用した教育の可能性の検討,千葉大学看護学部紀要,第32号 (2010).
  • [11] Google Inc.: AutoML Video Intelligenceドキュメント,〈https://cloud.google.com/video-intelligence/automl/docs?hl=ja〉(参照2022–9–19).
  • [12] Nota Inc.: Scrapbox - An app that turns your notes into knowledge,〈https://scrapbox.io〉(参照2022–9–19).
  • [13] Noboru Nishimoto: Automatic Recognition of Check-Points for NCPR Video Review, KES International Conference on Innovation in Medicine and Healthcare 2023 (2023).
  • [14] Hossein, H: Attacking Automatic Video Analysis Algorithms: A Case Study of Google Cloud Video Intelligence API,Proceeding of the 2017 on MPS (2017).
  • [15] JRC: JRC蘇生ガイドライン2020,医学書院 (2021).
西本 騰(学生会員)
nnishimoto@mxdlab.net

2021年立命館大学情報理工学研究科修士課程修了.同大学同研究科博士課程在学中.日本遠隔医療学会会員,日本シミュレーション医療教育学会会員,次世代研究者挑戦的研究プログラム学生フェロー.

安藤 潤人(非会員)

2020年筑波大学大学院システム情報工学研究科修了.2020年同大学システム情報系研究員.2021年立命館大学助教,現在に至る.ロボティクス,感覚情報に関する研究に従事.博士(工学).

野間 春生(非会員)

立命館大学情報理工学部教授.次世代研究者挑戦的研究プログラムフェロー,日本VR学会理事.VR,ヒューマンインタフェース,医療情報システムの研究に従事.博士(工学).

岩永 甲午郎(非会員)

2003年広島大学医学部卒業.2014年京都大学大学院医学研究科小児科専攻修了.新生児医療および,ICT教育システムの開発に従事.日本医学教育学会員,日本遠隔医療学会員,NCPRインストラクター.

受付日2022年12月20日
採録日 2023年6月25日

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。