トランザクションデジタルプラクティス Vol.5 No.1(Jan. 2024)

医療従事者向けチャットボット会話の概念抽出による特徴分析:コールセンター会話との比較

吉村 喜予子1  木野 泰伸2

1筑波大学情報科学と社会科学の融合リサーチグループ  2筑波大学ビジネスサイエンス系 

本研究ではチャットボット会話の特徴を製薬企業のコールセンター会話[5]との比較によって検証した.結果として,医療従事者がチャットボットを使用して実際に質問している会話は,①1メッセージあたりの平均単語数が3程度であり,会話の継続が短かった,②コールセンター会話から抽出された18概念は,チャットボット会話でも確認された,③チャットボット会話に多く出現した概念は,「年間を通じて問い合わせがみられる」概念であった,④内容は添付文書の記載の確認であった.本研究は,医療の現場の実務者に対して具体的な知見を提供し,かつ,今後,製品の拡大,デジタルチャネルの拡大を準備する他業種企業の実務者にとっても有用である知見を提供した.

コールセンター,チャットボット,テキスト解析,会話,医療従事者

Analyzing the Characteristics of Chatbot Conversations for Health Care Professionals by Concept Extraction: Comparison with Call Center Conversations

Kiyoko Yoshimura1  Yasunobu Kino2

1Research Group on Business Informatics on Social Science, University of Tsukuba, Bunkyo, Tokyo 112–0012, Japan  2Faculty of Business Science, University of Tsukuba, Bunkyo, Tokyo 112–0012, Japan 

This study examines the characteristics of chatbot conversations compared to conversations in pharmaceutical companies' call centers [5]. The study finds the characteristics of chatbot conversations of healthcare professionals (HCPs): 1) the average word count per one chatbot message is approximately three, and chatbot conversation tends to be brief and concise, 2) the eighteen concepts identified from call center conversations are also observed in chatbot conversations, 3) the concepts frequently discusses in chatbot conversations revolve around inquiries made by HCPs throughout the year, and 4) the content of these inquiries primarily focuses on confirming the description mentioned in the package insert. This study provides specific insights for medical practitioners and valuable findings for professionals in other industries preparing for future product and digital channel expansion.

call center, chatbot, text mining, conversation, healthcare professional

1. はじめに

チャットボットは,コンピュータがユーザの入力に対して対話型の自動応答を行い,情報やサービスを提供するプログラムのことを指す.チャットボット(chatbot)はMauldin [1]が「対話(chat)」と「ロボット(bot)」を組み合わせた造語として提案したChatter Botに由来している.

製薬企業は医薬品の情報提供のために,チャットボットを導入している.例として,日本製薬工業協会[2]に加盟している企業のうち薬剤の製品情報の提供を目的としたチャットボットは,確認できただけでも16社に導入されていた*1.背景として,医療従事者は使用する薬剤についての質問や情報の提供を製薬企業に求めることがある.しかし,製薬企業側にとって24時間365日の質問対応は,人的リソースおよびコストの点で効率的でないため,チャットボットのようなコミュニケーションツールが導入されている.

前述の製薬企業のチャットボットに,実際に質問をして回答を検証したところ,16社のチャットボットはあらかじめ準備された定型回答(FAQ)をユーザに返答する仕組みであると推測された.定型回答を使用する理由として,製薬企業には医療用医薬品に関する適正使用情報の医療従事者への伝達に関して,業界の自主基準[2]や法律(例:薬機法[3])等の規制がある.これらの規制により,製薬企業は医療従事者に提供できる製品情報の範囲が限られている.したがって,あらかじめ用意した定型回答を使用することにより,製薬企業にとって,内容の標準化ができる,あるいは範囲を逸脱した回答提示を避けるために想定外の質問には回答しない設定ができるなどの実務的な利点があると考えられる.

チャットボットと対人会話との違いについて,Hill et al. [4]は,非医療従事者(一般人)とチャットボットの会話は入力された質問に返答するという単調な会話の維持はできるが,人間が期待する「内容のある会話」や「会話の広がりを維持する」という点では限界があり,これらの点で対人会話にはまだ及ばないことを報告している.彼らのようなチャットボット会話と対人会話を比較した研究で,医療に関連する分野,特に,医療従事者が「実際に医療目的でチャットボットを使用し,質問した内容」を分析した報告はほとんどみられない.

一方で,吉村・木野[5]は,医療従事者が医療目的で実際にコールセンターのオペレータに質問をした内容を対象に研究をしている.[5]は,製薬企業の1つの新製品に対する医療従事者の質問内容は,発売時期によって変化するのか,あるいは,1つの製品の発売初期の質問は,他の製品においても同様な内容が質問されるのか,という点をテキスト分析によって検証している.

具体的には,1つの製品(睡眠薬)の発売初期(発売から1か月間)の質問内容の種類を概念として抽出し,構造化および可視化した.[5]で用いた概念とは,質問内容を形態素分析して単語に分解し,同じ会話文に出現しやすい単語(共起性の高い単語)をグルーピングしたものである.

[5]は発売初期1か月間のデータから抽出された18概念を,リスト化し,コーディングシートを作成した(表1).コーディングシートは,各概念に属する単語を「or」で接続し(グルーピング)リスト化したものである.コーディングシートを用いて,リスト化された単語グループ(概念)ごとの出現数をカウントした.概念ごとに,睡眠薬の1か月目と同製品の24か月目までの他の期間(6,12,18,24か月目)の出現傾向の比較,および,異なる製品(糖尿病薬)の各期間(1,6,12,18,24か月目)の概念の出現傾向の比較をした.

表1 睡眠薬から抽出した18概念コーディングシート
Table 1 The eighteen concepts coding sheet, based on the call center conversations of anti-insomnia medication.
睡眠薬から抽出した18概念コーディングシート The eighteen concepts coding sheet, based on the call center conversations of anti-insomnia medication.

結果として,[5]は1つの製品の発売後1か月間の質問内容から抽出した概念は,発売以降の期間と疾患領域が異なる製品においても抽出可能であることを報告している.加えて,異なる疾患領域である2製品間において,概念の出現傾向が同じ期間,異なる期間があることを確認した.

この報告は,新製品の発売準備において,コールセンターは,どのような概念に対する回答から優先順位をつけて準備すればよいか,どの時期にどのような内容の質問が多いかなど,疾患領域の違いにかかわらず予測が可能なことを示唆している.さらに,抽出された概念の時期による増減変化が確認されたことにより,顧客が必要とする情報の内容とタイミングについても予測が可能なことを示唆している.

そこで,本研究では,医療従事者が実際に医療目的で使用したチャットボット会話の内容を明らかにすることを目的として,製薬企業のコールセンター会話[5]と比較を行う.本研究の学術的な意義および新規性は,医療従事者が実際に入力したチャットボット会話の内容と,コールセンター会話[5]の質問内容を比較することにより,チャットボット会話の特徴を検証することである.さらに,[5]では新製品の発売後2年という期間を限って,概念の抽出を確認していたが2年目以降については確認されていない.本研究は,発売後2年以上経過した製品もチャットボットデータに含まれており,2年目以降の製品の概念の抽出も確認する.

本研究の実務的な意義は,医療従事者に対して,ニーズに即した最適な情報を即時に提供できるチャットボット開発への具体的な知見の提供である.実際に実務で医療従事者に使用されているチャットボット会話と,医療従事者のコールセンターへの質問内容を比較検証することにより,具体的な回答の設定内容や提供範囲が明確になり,チャットボットの学習や回答の精度の向上に貢献できる.

2. 先行研究

医療に関連するチャットボットを対象とした先行研究は,患者を対象として健康・疾患関連の情報を与える目的のものが多い(e.g. Nadarzynski et al. [6],Crutzen, et al. [7],Bibault, et al. [8]).しかし,実際に,医療従事者(医師や薬剤師等)が診療や処方のためにチャットボットを検証した研究は少ない.ここでは,本研究に関連する医師を対象としたチャットボットの先行研究と,本研究とのかかわりについて以下に示す.

Palanica, et al. [9]は,ヘルスケアチャットボットの使用に関する医師の認識調査を行い,医療提供側にとって,診察予約や病院の場所の提示,および服薬情報の提供や,医療側の煩雑な管理業務を軽減化するために,ヘルスケアチャットボットの利用が有益であると報告している.一方で,医師が医療診断のような専門的な医療知識と知性が必要な業務については,チャットボットの使用に懸念を示したことを報告している.

本研究も[9]同様,医療従事者の処方判断のための服薬情報の提供を目的とするチャットボットを研究対象としている.本研究は,医師が懸念している専門的な医療知識の提供[9]という点において,チャットボットの医薬情報の正確な情報の提供の可能性について検証している.さらに,医療従事者のチャットボットを使用した際の質問の内容と質問時期の関連性について,新たな知見を提供している.

Koman, et al. [10]は,医療関連情報の検索を想定した製薬企業のパイロット版チャットボットの実用性について,医師にあらかじめ用意したチャットボットの回答を提示して受容性を検証した.結果として,検証したパイロット版チャットボットは,情報源の信頼性,正確な情報,アクセスの速度等の点から,完全には医師の期待に応えることはできなかった.さらに医師は,チャットボットへ投入する検索語の選択によっては正しい回答を得られない場合の懸念を示していた.[10]は,将来的に,チャットボットを有用活用するためには,情報の信頼性,情報の正確さ,アクセスのスピード等,医師が認識する問題点の改善が必要であると主張している.

本研究も[10]同様,医師による医療関連情報のチャットボットを使った検索を対象としている.しかし,[10]は回答内容を医師に提示する手法を採用しており,医師が実際に実務としてチャットボットに質問した内容の検証は行っていない.[10]が指摘した医師に有益な「情報の信頼性,情報の正確さ」という点の改善のためにも,「実際に医療従事者は製品に関してどのような質問をチャットボットにしているのか」という点を把握する必要がある.

そこで,本研究では,コールセンター会話の研究で使用した手法[5]を用いて,実際に医師がチャットボットに入力した医薬情報の質問内容を検証することによって,質問内容を分類・概念化し,対人会話であるコールセンター会話との比較によって特徴を把握した.さらに,質問内容の特徴を把握することにより,先行研究[9], [10]に指摘されているチャットボットの情報の「信頼性,正確さ」などの改善に貢献する知見を提供した.

3. 分析手順と結果

本章では分析手順と結果について説明する.

分析手順は,以下のとおり.カッコ内の番号は3章で記述している節番号である.テキスト分析には,KH Coder [11]を使用した.

  • 1. データ準備(3.1):前処理とデータクリーニング
  • 2. 形態素解析の実施(3.2):KH Coder [11]と茶筅[12]を用いた検証
  • 3. チャットボット会話の量的特徴(3.3):会話あたりの単語数による会話特徴の検証
  • 4. チャットボット会話の概念の出現特徴(3.4):18概念[5]による検証

3.1 データ準備

本研究のチャットボット会話のデータの分析は,コールセンター会話[5]との比較のために,以下のような設定をした.

1)コールセンターの1会話に相当するものとしては,同じユーザのチャットボットの使用開始から終了までの継続を示す「セッション」(ユーザごとにセッションIDが自動附番される)がある.しかし,データから顧客が1セッションの間に異なる製品への質問を行っている状況が分かったため,製品別の1メッセージ(1回のチャットボットへの質問の入力)を,本研究の「1会話」として分析対象とした.例として図1を示す.図1は,1顧客の1回のセッションを示す.①,②は顧客が入力したメッセージであり,それぞれ1会話とする(1セッションに2会話).

チャットボット会話の分析対象 Chatbot conversation analysis target.
図1 チャットボット会話の分析対象
Fig. 1 Chatbot conversation analysis target.

2)単語・文(センテンス)の数量カウントは形態素解析を用いた.単語数は,形態素解析によって,文を品詞別に分割してワード数としてカウントした.

3)コールセンター会話の先行研究[5]の検証と同じ条件にするため,[5]と同様の前処理・データクリーニングを実施した.詳細は後述する.

分析対象データ

本研究が対象としたデータは,製薬企業1社の医療従事者向けチャットボットのデータベースから,2021年1月から3月の期間かつ医薬品に関連した質問内容を対象として抽出した.データ対象としたすべての製品が発売後2年以上経過している.

データについては提供を受けた会社の倫理審査を経て使用した.本研究が使用したチャットボットは,顧客がチャットボットに入力したメッセージ(文章,または検索ワード)に対して,チャットボットの回答(定型回答またはFrequently Asked Questions:FAQ)が提示される.チャットボットのデータベースには,顧客が入力したメッセージおよび提示された回答がテキストデータとして登録・保存されている.本研究では,顧客の入力メッセージのみを使用し,1メッセージを1会話として使用した.結果として1509件の会話を使用した.

本研究が対象としたチャットボットのデータの属性は下記のとおり.

顧客:医療従事者

製品:錠剤,注射剤(静脈注射剤・ワクチン等)*2

内容:A社の製品(薬剤)に関する質問部分(顧客の投入したメッセージのみ)

会話数(メッセージ数):1509

前処理・データクリーニング

チャットボット会話のデータ分析に際し,データを適切な状態にするための編集や補正,およびデータ抽出のための一定の基準やルール等を定める作業を[5]と同様の手順で行った.具体的には以下のような手順である.

1)データの修正:抽出した各データの個人情報に関わる内容の削除を行った.形態素解析により抽出された単語を確認し,チャットボット会話に個人情報(個人名,組織名,電話番号,住所,など)があった場合は,データの該当部分を手作業で削除した.対象製品名や競合製品名の固有名詞,原薬名等はデータの該当部分を「自社製品」「他社製品」等に手作業で強制変換を行った.

2)強制抽出・強制削除リストの作成:[5]で使用した強制抽出用語リスト(表2)および削除用語リスト(表3)を使用した.本研究は,コールセンター会話[5]で検証した手法をチャットボットへの適用を検証しているため,コールセンター会話の検証と同じ18概念のコーディングシート(表1)を使用し,抽出条件を統一した.

表2 強制抽出用語リスト(例)
Table 2 List of forced extraction terms (Example).
強制抽出用語リスト(例) List of forced extraction terms (Example).
表3 削除用語リスト(例)
Table 3 List of deleted terms (Example).
削除用語リスト(例) List of deleted terms (Example).

3.2 形態素解析の実施

前処理とデータクリーニングが終わったデータと強制抽出・強制削除リストを設定し,チャットボットの顧客の入力部分を対象として,形態素解析ツールを用いて,文を単語に分割し,品詞別の単語に分類し,データを概観した.形態素解析ツールによる品詞別単語の種類と出現頻度をカウントした頻出語リストの傾向から,本研究の対象となる概念に関連する可能性のある単語が,名詞,サ変名詞,形容詞,形容動詞,副詞であることを確認し,それらの品詞を分析対象として選択した.

本研究では,形態素解析によって,質問内容のデータを単語で区切り,それらを使った「出現の頻度」を検証した.形態素解析の結果,投入された1509会話の文字数は10728文字,品詞別単語数は4764語であった.

3.3 チャットボット会話の量的特徴

本研究のチャットボット会話(入力メッセージのみ)の特徴を表4に示す.本研究のチャットボット会話の量的特徴としては,1会話あたりの平均文字数,平均単語数はそれぞれ,7.11,3.16であった(表4).チャットボット会話の特徴として,「○○について教えてください」という文の入力もみられたものの,多くは,「用法 用量」のような単語と単語の間にスペースをいれた数語の入力が多かった.また,「会話の持続」については,本研究のチャットボット会話では,1セッションあたりの平均会話数2.85で終了しており,会話の継続は短かった.

表4 1会話あたりの統計量(チャットボット)
Table 4 Statistics per conversation (chatbots).
1会話あたりの統計量(チャットボット) Statistics per conversation (chatbots).

非医療従事者を対象としたチャットボットの調査[4]では,1会話あたりの平均単語数は4.29であったこと,および「1メッセージに入力するメッセージの単語が少なかったものの,長い時間の会話の持続がみられた」という報告がされている.ここで,[4]は英語を対象とした研究であるが,英語単語を品詞分類・集計しており,本研究もチャットボット会話を形態素分析した後に単語を品詞分類・集計を行うため,言語が異なっても比較対象となると判断した.

結果として,医療従事者のチャットボット会話の1会話あたりの平均単語数は3単語程度であった.数語程度の連続という点で,非医療従事者を対象としたチャットボット会話[4]と同じ傾向を示した.一方で,医療従事者のチャットボットの会話は,1セッションあたりの平均会話数は3回未満であり会話の継続は短かった.本研究では[4]が報告したような「長い会話の継続の傾向」を示さなかった.

3.4 チャットボット会話の概念の出現特徴

医療従事者のコールセンターとチャットボットの質問内容の出現特徴の差異を検証した.具体的には,コールセンター会話[5]の検証で使用された18概念のコーディングシート(表1)を使って,チャットボット会話の概念の出現を確認した.集計結果を[5]で提示されたデータとともにクロス集計表としてまとめ(表5),概念ごとにコールセンター会話[5]とチャットボット会話の出現数を比較検証した.会話間の18概念の出現頻度の比較は,カイ2乗検定を用いて検証した.カイ2乗検定は5%以下で有意差があると判断した.

表5 概念の出現傾向の検証
Table 5 Verification of concept occurring trends.
概念の出現傾向の検証 Verification of concept occurring trends.

概念の出現について,本研究で使用した18概念の中には,「少ない」「可能」「弱い」など,一般的な文章に出現する語も特徴語として含まれている.これらの語は,医療従事者のコールセンター会話[5]では,他の医療に関連する特徴語と同時に出現する傾向が示されており,それらの語をまとめて,18概念が規定されている.本研究のチャットボット会話も,医療従事者の会話が対象のため,[5]の検証方法と同様に,コーディングシートの各概念に関連づけられている単語が1件でも出現したら単語の背景にある文脈の存在を仮定し,当該概念の出現とした.

結果として,コールセンター会話[5]で抽出された18概念(表1)は,出現頻度の多寡がみられたものの,チャットボット会話でも概念はすべて出現することが確認された.

概念の出現傾向の検証(表5)でチャットボット会話に有意差を示した概念および有意差を示さなかった概念は,「年間を通じて問い合わせがみられる」と報告された概念傾向に該当するものであった[5].内容としては,どのくらいで効き目が表れるのか,1日何回服用するのかなど,添付文書の内容に関する比較的簡易な質問であった*3

一方,コールセンター会話に多く出現した概念は,製品の発売初期や製品拡大の節目となる時期(発売後12か月目)に医療従事者が確認すべき内容や,製品拡大に伴って患者ごとに併用薬の可否等の確認が必要な内容,これらは製薬企業のコールセンターに詳細な確認が必要な内容であった.

以上,医療従事者向けチャットボット会話の概念抽出を行った結果,1)チャットボット会話の量的な特徴として,1会話あたりの平均単語数が3単語程度,かつ1セッションあたりの平均会話数は3回未満の短い会話の継続であること,2)チャットボット会話の概念の出現特徴として,製品の発売初期のコールセンター会話から抽出された18概念がチャットボットでも確認されたこと,およびコールセンター会話とチャットボット会話で有意差が示されなかった概念,チャットボット会話に多く出現した概念が確認されたこと,さらに,3)有意差が示されなかった概念は「年間を通じて問い合わせがみられる」特徴を持つ概念であり,内容としては添付文書の内容に関する質問であった,という特徴が示された.これらの特徴については,次章において,考察および実務的応用を述べる.

4. 考察

本研究は,第3章に示した分析手順に沿って,医療従事者が実際に医療目的で使用したチャットボット会話の内容を明らかにすることを目的として,医療従事者向けのチャットボット会話の質問内容の特徴を概念化・分類し,コールセンター会話[5]との比較によって検証した.

分析手順に示したチャットボット会話の量的特徴(3.3節)およびチャットボット会話の概念の出現特徴(3.4節)の結果を表6に示した.以下,分析結果(表6)に基づき,4.1節,4.2節でチャットボット会話の量的特徴,4.3節,4.4節でチャットボット会話の概念の出現特徴について,それぞれ分析結果の理由や背景の考察,および結果が示唆する実務的応用について述べる.

表6 分析結果
Table 6 Analysis results.
分析結果 Analysis results.

4.1 チャットボット会話の量的特徴

まず,3.3節で確認されたチャットボット会話の量的特徴について述べる.3.3節の分析により,医療従事者のチャットボット会話は,1回の入力単語数が少なく(3単語程度),かつ会話の継続(1セッションあたりの平均会話数)も非常に短いことが分かった.この結果は,非医療従事者を対象とした[4]と比較して,1回に入力された単語数は同様に少ない傾向を示したが,会話の持続という点では異なった傾向を示した.以下,これらの分析結果について理由や背景を考察する.

質問内容の明確さ:本研究の対象である医療従事者は,使用する薬剤に関する情報検索という限定的な目的でチャットボットを使用していた.背景として,各薬剤には添付文書という薬剤専用の解説書が用意されていて,使用する医療用語(単語)も特定されている.そのため,質問内容が明確,かつ,使用する用語も限定されていたと考える.

また,チャットボットで入力された単語の多くは,薬剤の添付文書に記載されている単語(医療用語)であった.添付文書に記載された医療用語は医療従事者にとっての共通用語である.そのため,医療従事者は質問を会話文ではなく数語の医療用語を用いて入力していたと考える.

時間的制限:医療従事者は患者が待っているという時間的に余裕のない状況で,薬剤の処方に関する質問をしていると想定される.そのため,入力も冗長的な文章ではなく,聞きたいことをごく短い単語で入力することで,時間を節約していると考えられる.この場合も,共通言語である添付文書中の医療用語の使用によって,短い単語での会話を構成していると考えられる.チャットボットの会話データから「こんにちは」,「ありがとう」などの儀礼的なやり取りも数件しかみられなかったことからも,医療従事者が儀礼的な挨拶を無駄ととらえ,冗長的なやり取りを避けていることが推測される.加えて,回答を1回で得られた場合にも質問の継続はなく,「聞きたいことを聞いたら会話を終了する」傾向からも時間的な余裕がないこと,あるいは,情報検索に時間をかけない傾向が推測された.

チャットボットの信頼性:医療従事者が,情報検索に時間をかけない傾向については,患者が待っているという時間的な制約に加えて,「何度質問を繰り返しても最終的に『正解(問に対して求めている回答)』が得られないのではないか」というチャットボットに対する信頼性の欠如も考えられる.

抽出したチャットボットの会話データより,提示された回答が不適当(求めている回答ではない)と判断した場合,あるいは数回短い単語の入力を繰り返した後,正しい回答が得られない場合,早期にあきらめて会話を終了する傾向がみられた.この傾向は,[9], [10]が報告しているようなチャットボットが必ず回答を出してくれるという信頼性がまだ医師側に無いことが背景にあると考えられる.前述したように,時間的な制限のある中で,共通語である医療用語を投入したら,「1回で求めている回答が提示されて当然」,あるいは「そうであって欲しい」という医療従事者の意向があると考える.

以上,3.3節の結果について考察した.次に,この結果が示唆する実務的応用について述べる.

4.2 チャットボット会話の量的特徴の実務的応用

キーワードの特定: 3.3節の分析により,医療従事者は文章ではなく,数単語で検索する傾向が明らかになった.製薬企業の実務者はチャットボットに質問した単語と添付文書の記載を合わせて分析することにより,医療従事者が質問に使用する頻出重要単語を特定できる.そして,頻出重要単語をキーワードとして回答文を作成・設定することによって,初回あるいはごく少数のやり取りで正しい回答が提示される可能性が高まり,チャットボットの正しい回答提示までの時間短縮および,初回の正解率(問に対して求めている回答が提示できる)の改善が可能である.

冗長性:さらに,医療従事者は冗長性を厭う傾向も示唆された.医療従事者向けのチャットボットは,薬剤の処方のための情報提供の目的から,回答が迅速であることに加え,回答内容が適切で正確であることが必須要件であり,一般的な「挨拶等や相づち等の人らしい会話の設定」「会話の持続を支援する機能」などは不要である可能性が考えられる.冗長性も省き,前述のキーワードを適切に設定することにより,時間の制限のある医師が短時間で回答が得られることが,チャットボットの信頼性にも貢献する.

情報収集への対応:一方で,診療や処方以外の時間では,チャットボットを使って,医療従事者が必要な薬剤の情報収集をするという状況も想定される.その場合は,入力された単語から関連するトピックスなどの提示による話題・情報の広がりを提供するという機能も必要であると考えられる.この場合,幅広い情報の提示が必要であり,生成AI(ChatGPT)などの機能を備えたチャットボットの装備が必要となるであろう.しかし,生成AIを使用した業務・検索は,目的,情報の提示対象によって行政や業界の規制がある場合があり,チャットボットを学習させる際のプロセス,コンプライアンス的な検証などの配慮が必要である.

以上のように,医療従事者のチャットボット会話の量的特徴の検証によって,先行研究[9], [10]が指摘した医師が認識するチャットボットの改善点(情報の信頼性,情報の正確さ,正しい回答の提示までの時間,など)について,実務的な改善手法が提示された.

4.3 チャットボット会話の概念の出現特徴

次に,3.4節で確認されたチャットボット会話の概念の出現特徴について述べる.3.4節の分析により,コールセンター会話[5]の発売初期(発売後1か月目)の質問内容から抽出された18概念は,チャットボット会話でも確認された(表5).コールセンター会話とチャットボット会話の18概念の出現数の比較を行った結果,チャットボット会話に多く示された概念,2つの会話間に有意差が示されなかった概念,コールセンター会話に多く示された概念,などの特徴が確認された.さらに,質問内容の対象についても確認された.以下,これらの分析結果について理由や背景を考察する.

質問内容のカテゴリ:チャットボット会話に多く出現した概念および2つの会話間に有意差が示されなかった概念は,[5]が「年間を通じて問い合わせがみられる」と報告した概念であった.内容としては,添付文書に記載されている内容の確認であった.医療従事者は,患者の個別ケース対応する際に添付文書の記載内容の確認が常に必要となる.理由としては,各患者の固有の背景から,薬剤使用に際し,併用薬の可否(禁忌)等の確認が必要になるためである.その際に,簡便な検索ツールとしてチャットボットが使用されていたと考える.本研究により,「医療従事者が実務としてチャットボットに質問した際.製品に対して何を質問しているのか」という課題が,手法の提示とともに,具体的に概念という質問内容の概念提示によって明らかになった.概念の内容を各薬剤の質問項目として使用することにより,実務者がどのような内容の質問に対して回答を用意すればよいかということが明確になった.

質問内容の時間経過による変化:質問内容の時間経過による変化については,製品の発売から2年目までは[5]によって検証されていたが,本研究によって,2年目以後も出現することが確認された.3.4節の概念の検証でみられたチャットボット会話とコールセンター会話の出現頻度の違いについても,コールセンター会話[5]は発売から2年目までのデータであり,本研究は2年目以後のデータが含まれていることから,時間・期間が関連しており,製品の発売初期,発売後の時間経過に伴う医療従事者の確認事項の変化,および処方される患者の増加に由来するものと考えられる.これらの変動的な要因については個別に検証する必要があるものの,本研究で本質的な製品の質問項目のカテゴリはある程度の予測がつくことが確認された.

以上,3.4節の結果について考察した.次に,この結果が示唆する実務的応用について述べる.

4.4 チャットボット会話の概念の出現特徴の実務的応用

実務者の負担の軽減:今後,チャットボットの採用を考える企業にとって,どのように回答を準備するのか,という課題は,「どのような質問がくるのか分からない」という実務者の心理的な不安および負担にもなる.本研究の示した手順により既存の製品データ(問い合わせ内容・製品質問)を分析することにより,情報の内容分析・課題抽出を行うことができ,チャットボットへの学習資料の準備,あるいは準備する回答の範囲の予測,準備のタイミングの予測が可能になり,実務担当者の不安や負担を軽減することになる.本研究は,チャットボットの導入時期や製品(新製品,既存製品)にかかわらず,保存されている既存の製品データ(問い合わせ内容・製品質問)の質問内容を実務者が分析することで,FAQなどの定型回答や関連情報を用意し,質問対応ができる可能性も示唆した.

コールセンターの代替機能:本研究によって,チャットボットもコールセンター同様に医療従事者の情報確認の目的で利用されていたことが明らかになった.また,検証内容より,チャットボットによる回答が可能であり,コールセンター会話の代替ができる概念(質問内容)も確認された.実務者は,製品ごとに発売後の経年数を考慮したうえで,コールセンターとチャットボットに共通した定型回答文を用いて回答する,あるいは差別化して回答する等の対応を考えることができる.

デジタル化への貢献:チャットボットの可能性が示された一方で,薬剤に関する質問は,安全性の確保の観点から,製薬企業側のデジタル施策はより慎重に施策を進める必要がある.本研究で,医療従事者の質問内容を具体的な内容を検証し,構造的に把握したことによって,チャットボットの質問内容に関連する学習対象・学習範囲が推測可能になった.学習対象・学習範囲が明確になれば,業界内で活用できる質問のデータベース化やデジタル化(チャットボット,生成AI等)への転換・推進にも貢献する.

他業種への応用:本研究で分析に用いた手法は,他業種企業においても応用が可能である.どの業種においても,これまでの顧客の対応履歴や専門用語集や製品の説明資料(取り扱い説明書)は存在するはずである.既存の会話データや記録を本研究の手法を用いて分析することで,これまで暗黙知であった社内用語(専門用語)と顧客の使用する用語との違い(同じもの・ことを違う言葉で顧客・企業側が表現する),社内用語,学術的専門用語の会話中の使用実態が明らかになり,同義語や質問背景のキーワードの発見につながると考える.本研究の手法は様々な業種や製品においても応用できる.

以上,本研究は,医療従事者が実際に医療目的で使用したチャットボット会話の内容を明らかにすることを目的として,製薬企業のコールセンター会話[5]と比較を行った.結果として,臨床の場の医療従事者がチャットボットを使用して何を知りたいのかという質問の特徴の把握ができたことにより,先行研究( [9], [10])でも提示されていなかった医療用チャットボットの質問の内容と質問時期の関連性について,新たな知見を提供した.さらに,医療の現場の実務者に対して,具体的な手法を提供するだけでなく,今後,製品の拡大,デジタルチャネルの拡大を準備する他業種企業の実務者にとっても有用である知見を提供した.

5 おわりに

本研究は,医療従事者が実際に医療目的で使用したチャットボット会話の内容を明らかにすることを目的として,コールセンター会話との比較によって分析した.

学術的には,医療従事者向けチャットボット会話は,回答を少ない単語数で簡潔かつ時間をかけずに質問しているという特徴が確認された.また,コールセンター(対人会話)とチャットボット会話という違いがあっても,コールセンターに質問されていた18概念(表1)は,出現頻度の多寡がみられたものの,チャットボット会話でもすべての概念が確認された.このことは,医療従事者がチャットボットでもコールセンターと概ね同じ質問をしていることを意味する出現数の差がみられた概念については,製品特性や発売からの経年による理由が考えられる.製品ごとの変動的な要因の考慮は必要であるものの,本研究によりコールセンターから得られる情報が異なるコミュニケーションチャネル(デジタルツール等)に応用できることが示唆された.

実務的には,医療目的で使用したチャットボット会話の内容が確認できたことにより,コールセンターとチャットボットで共通して回答できる内容がある一方で,コールセンターのみで回答する必要性がある内容があることも確認でき,チャットボットとコールセンターとの差別化等,実務者に具体的な示唆が得られた.また,本研究が提示した手法によって,実務者の新製品等の対応準備時の心理的負担の軽減にも役に立つ.回答精度についても,添付文書に記載されている単語がチャットボットの質問に使用されていたことから,添付文書の単語をキーワードの設定に応用することで改善ができる.本研究で検証した手法は,今後,医療目的で活用できるデジタルツールの推進に貢献する.

今後の課題として,ユーザ側(医療従事者)が,回答を得るために単語入力による質問を繰り返すことの改善がある.単語入力の繰り返しだけでは,質問の背景の記述が十分にできないため,チャットボットの回答精度や回答の限界にも影響する.さらに,医療に関連した業界においては情報の規制もあるため,質問背景や内容によって慎重に回答すべき内容については,チャットボットで回答せずに,コールセンターへの対応分岐の設定も必要である.これらの回答精度の向上や対応分担のシステム的な判断・設定については,今後生成AIの採用についても検証する必要がある.

最後に,本研究では,コールセンター会話の睡眠薬(錠剤)に対する質問で抽出された概念[5]をチャットボット会話に使用したため,異なる剤型(注射剤等)に関するチャットボット会話の概念分類は検証していない.今後,継続的な検証が必要である.

利益相反:

筆者の吉村喜予子はMSD株式会社の社員である.

参考文献
  • [1] Mauldin, M. L.: Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition, AAAI, Vol.94, pp.16–21 (1994).
  • [2] 日本製薬工業協会:〈https://www.jpma.or.jp/about/member/〉(参照2021-10-24).
  • [3] 昭和三十五年法律第百四十五号医薬品,医療機器等の品質:有効性および安全性の確保等に関する法律
  • [4] Hill, J., Randolph Ford, W., and Farreras, I. G.: Real conversations with artificial intelligence: A comparison between human-to-human online conversations and human-to-chatbot conversations, Computers in Human Behavior, Vol.49, pp.245–250 (2015).
  • [5] 吉村喜予子・木野泰伸:コールセンターにおける発売初期の問い合わせ内容の可視化と汎用性の検証,経営情報学会誌,Vol.30, No.1, pp.1–29 (2021).
  • [6] Nadarzynski, T., Miles, O., Cowie, A., and Ridge, D.: Acceptability of artificial intelligence (AI)-led chatbot services in healthcare: A mixed-methods study, Digital Health, Vol.5, pp.1–11 (2019).
  • [7] Crutzen, R., Peters, G. J. Y., Portugal, S. D., Fisser, E. M., and Grolleman, J. J.: An artificially intelligent chat agent that answers adolescents' questions related to sex, drugs, and alcohol: An exploratory study, Journal of Adolescent Health, Vol.48, No.5, pp.514–519 (2011).
  • [8] Bibault, J. E., Chaix, B., Guillemassé, A., Cousin, S., Escande, A., Perrin, M., Pienkowski, A., Delamon, G., Nectoux, P., and Brouard, B.: A chatbot versus physicians to provide information for patients with breast cancer: Blind, randomized controlled noninferiority trial, Journal of Medical Internet Research, Vol.21, No.11, pp.1–7 (2019).
  • [9] Palanica, A., Flaschner, P., Thommandram, A., Li, M., and Fossat, Y.: Physicians' perceptions of chatbots in health care: Cross-sectional web-based survey, Journal of Medical Internet Research, Vol.21, No.4, pp.1–10 (2019).
  • [10] Koman, J., Fauvelle, K., Schuck, S., Texier, N., and Mebarki, A.: Physicians' Perceptions of the Use of a Chatbot for Information Seeking: Qualitative Study, Journal of Medical Internet Research, Vol.22, No.11, p.e15185 (2020).
  • [11] 〈https://khcoder.net/〉.
  • [12] 松本裕治:形態素解析システム「茶筅」,情報処理,Vol.41, No.11, pp.1208–1214 (2000).
  • [13] 厚労省:医療用医薬品の添付文書等の記載要領について,平成29年6月8日付け薬生発0608第1号厚生労働省医薬・生活衛生局長通知 (2017).
脚注
  • *1 各社のホームページは文末に記載.製薬工業協会所属73社(2021年10月24現在)のうち16社(2021年10月24日確認).
  • *2  [5]では錠剤のみが対象であった.
  • *3 添付文書は,医薬品を処方する医療従事者のために医薬品ごとに提供されており,原則として当該医薬品が承認された範囲で用いられる場合に必要とされる事項が記載されている[3], [13].

付録

*1 チャットボットの導入が確認できた企業(すべて参照2021-10-24)

1. https://pfizerpro.jp/cs/sv/pfizerpro/n/Page/1254401314997

2. https://www.eisai.co.jp/inquiry/product/hotline.html

3. https://www.shionogi.co.jp/med/dichat/

4. https://amn.astellas.jp/specialty/digestive/ibs/ib_chatbot

5. https://chugai-pharm.jp/pharmacist/

6. https://www.astrazeneca.co.jp/patient/azport.html

7. https://www.janssenpro.jp/

8. https://medical.mt-pharma.co.jp/index.shtml

9. https://www.msdconnect.jp/askmsd/

10. https://pharma-navi.bayer.jp/

11. https://www.takedamed.com/

12. https://www.amgen.co.jp/products/for-physicians/medical-information/terms

13. https://www.hcp.novartis.co.jp/

14. www.lilimedical.jp/

15. www.medicallibrary-dsc.info/

16. https://www.wakamoto-pharm.co.jp/customer/

吉村 喜予子(正会員)
kiyoko.yoshimura@gmail.com

筑波大学情報科学と社会科学の融合リサーチグループ所属.情報処理学会員,経営情報学会員.博士(システムズ.マネジメント).

木野 泰伸(正会員)

筑波大学ビジネスサイエンス系准教授.テキストマイニングおよびソフトウェアモデル化技法を用いた質的研究法の開発に取り組んでいる.情報処理学会会員,プロジェクトマネジメント学会会員,博士(システムズ・マネジメント).

受付日2023年5月9日
採録日 2023年8月23日

会員登録・お問い合わせはこちら

会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。