企業がデジタルトランスフォーメーション(以下,DX)を推進する必要条件には,高度な情報技術の導入,レガシーシステムのスリム化,経営者のコミットメント等が挙げられる[4].これらの諸条件に加えて,DXの推進には企業を構成する人材には意識変革も求められる.具体的には,企業内外の様々な環境変化に柔軟,かつ迅速に対応していくための考え方を具備していることが重要である.文献[4]では,このような考え方(マインドセット)を総称して,“アジャイルマインド”と呼ばれている.アジャイルマインドという言葉は,これまでは,ソフトウェア開発の文脈で言及されていた.Scrum [6]に代表されるアジャイルソフトウェア開発のアプローチをプロジェクトに導入するうえで,プロジェクトメンバが重視すべき考え方を指して,アジャイルマインドと呼称されていた.一方,企業がDXを推進するためには開発サイドだけに留まらず,経営者・ユーザサイドも含めた,企業に属するすべての人材がアジャイルマインドを理解し,実践していくことが重要である.
これまでに筆者らは,アジャイルマインドを体感して理解・体得することを狙いとした,受講者参加型の学習プログラム(以降,アジャイルマインド研修)を開発・実践してきた[7], [8].アジャイルマインド研修は,主に筆者らの所属するグループ企業の社員を受講者として,複数年にわたり継続して提供をしている.これまで合計200名を超す受講者からは,「知識としてのみ理解していたアジャイル開発のアプローチがよく理解できた」「アジャイル開発をするうえでの考え方を実感できた」といった反応を数多く獲得できている.
上述のように受講者からのアジャイルマインド研修への評価は高い一方,筆者らにとって,受講者の学習効果の測定が難しいことが経年の課題の1つではあった.
一般的に,知識習得やスキルアップを狙いとして設計された学習プログラム(知識教育の研修,スキル教育の研修)の場合,受講者の学習効果の測定方法は,比較的実施しやすいといえる.代表的な測定方法としては,研修で学んだ知識やスキルの定着度を問う問題(例:選択問題や正誤判定問題)を受講者に解いてもらう方法が挙げられる.効果測定の指標を,受講者の問題に対する正答率や回答時間として,受講者の正答率が高い・回答時間が短いという結果により,学習プログラムに一定の効果があったことを確認できる.
一方,筆者らが開発・実践している,マインドセット(重視すべき考え方)の学びを狙いとして設計された研修プログラム(意識教育の研修)の場合,前述のような定量的な指標での効果の測定の実施は難しい.測定方法としてはアンケートを活用する方法が代表的である.たとえば,研修終了後にアンケートを実施し,「考え方が理解できましたか?」といった主旨の質問や尺度評価の問いに回答してもらう方法が挙げられる.しかしながら,たとえ多くの研修受講者から「考え方が理解できた」との回答が得られたとしても,これによって本当に学習プログラムの狙いを達成できていたかの判断をすることは難しい.筆者らは,受講者の学習効果を把握するためには,実際に受講者が学習プログラムをどのように受容し,どのような共通理解を形成できたのかを受講者自身の言葉で述べてもらうことが必要であると考える.
これまでにも学習プログラムの評価や改善を狙いとし,プログラムの受講者から収集した自由記述式のアンケートに対してテキストマイニングに代表される量的データ分析手法を適用した事例[1])や,質的データ分析を利用した事例[5]が報告されている.2つの手法を組み合わせた事例の報告もある[2].このように自由記述式のデータを分析することで,データの書き手(例:学習プログラムの受講者)が感じたことや理解したことを,第3者(分析者)が読み取ることは可能である.
そこで本稿では,筆者らが作成・実践しているアジャイルマインド研修[7], [8]を題材として,意識教育の研修受講者の学習効果を分析・評価した実践事例を報告する.学習プログラムの受講者からのフィードバックデータ(学習内容に関するオープンクエッションへの回答文=自由記述式データ)を対象として,質的データ分析のアプローチにより,受講者が体感した体験の読み解きを試みる.これにより,受講者が学習プログラムを通じて何を経験し,その結果,何を感じたのかを明らかにしていく.
本稿の構成は以下のとおりである.2章では,アジャイルマインドの学習プログラムの概要を紹介する[7], [8].3章では,本報告における質的分析アプローチの手順と,アジャイルマインド研修を題材とした手順の適用例を示す.4章では分析結果を議論し,最後の5章でまとめを記す.
筆者らはアジャイルマインドを短期間で習得するための意識教育の学習プログラム(アジャイルマインド研修)を開発・実践を行っている[7], [8].アジャイルマインド研修の目標は,変化への対応を通して,アジャイルマインドとアジャイル開発のアプローチの理解,および理解した内容を自らの言葉で第三者に話せることとしている.この目標の達成のため,アジャイルマインド研修では,以降に記す4つの内容を受講者が体験できるカリキュラムを提供している.
4から5人の受講者で1チームを作り,アジャイル開発とウォータフォール開発の2つのプロダクト開発を同日に実施する(図1参照).開発のアプローチによる変化への対応の違いについて,体験を通して理解するためである.受講者はチーム内で2つの開発プロセスごとに担う役割がある.ウォータフォール開発では発注役と開発メンバ役,アジャイル開発では,プロダクトオーナー役と開発メンバ役に分かれる.研修受講者の総数にもよるが,チームは2から5作られるのが一般的である.これにより,後述するように各チームは制作したプロダクトを他チームにも共有し,相互に比較し,振り返りを実施する.学習プログラムの時間配分は,2つの開発アプローチによる制作(図1の2つの「つくる」)が各々約1.5時間,参加者全員(全チーム)による振り返り(図1の「振り返る」)が約1.0時間となる.おおむね半日程度で実施するプログラムになる.
本研修はソフトウェア開発のアプローチを体感する研修ではあるが,受講者にはプログラミング言語を書くことは求めない.プログラミングの代替手段として,手芸用モール(以下,モールと略す)を用いたプロダクトの開発を採用した(図2参照).モールは,長さ30 cm程度でカラー合成繊維の中心に針金が通っている,折り曲げ可能な子供用玩具である.このように誰にとっても,使い方が既知であるモールを用いることで,実開発において,チームメンバ全員が開発に使うプログラミング言語が既知である状態を,疑似的に作り出すことができる.
実際の研修でのプロダクト制作では,各チームに与えられた台紙のうえにモールを用いてユーザの欲しいものを表現していく.これにより,プログラミングによるシステム開発を再現する.一般にシステムは複数の機能で構成され,更に各機能は1つ以上のモジュールに分解できる.これら機能やモジュールを,モールを用いてどのように表現(構築)するのかを図2を用いて以下に記す.本図は台紙全体をシステムと見立てている.システムを構成する機能は,家,空,木,等が挙げられる.更に,「家」機能は複数のモジュール(家の屋根,壁,ドア)で構成されている.また,複数機能の結合(機能間結合)も表現される(本図の下部では,家と木の機能が結合している).
これにより,受講者各人のプログラミング能力に依存せず,開発者以外(営業担当,企画担当,マネージャー等)も本研修に参加し,プロダクト開発を経験・学習することができる.実際のプログラミング言語でプロダクト開発を行うと,コンパイルの成功させることや,プログラムを綺麗に書くことといった手段に関心が向かいがちである.本研修ではモールを使うことで,手段(モールやペンチ等)に集中しすぎることなく,受講者は2つの開発アプローチの内容やその違いに関心を注力した体験が可能になる.
本研修の運営側(研修の講師)が仮想ユーザの役割を担う.受講者に対して,仮想ユーザの要求を提供し,受講者はその要求に応えるプロダクトをチームで開発する.仮想ユーザの要求は「乗り物だけではなく売店もある遊園地の風景がほしい」といった内容で提示される.そのうえで本研修では上述の開発過程において,運営側から意図的に受講者に仕様変更の対応を求める.これにより参加者のチームに揺らぎを与える.この仮想ユーザの仕様変更(揺らぎ)の内容は,ソフトウェア開発で頻出するケースをモデル化している.揺らぎは数種パターンを用意している.揺らぎの具体例を以下に記す.
このような揺らぎを受講者のチームの進捗状況を加味して与える.各チームは,仮想ユーザの要望が変わることによる仕様変更の対応を経験する.
本研修では1回あたり複数チームでプロダクト開発を行うため,ウォータフォール開発とアジャイル開発ごとに,チーム分のプロダクトが完成する.そのうえで,受講者全員で仮想ユーザの要望を共有し,完成したプロダクトを比較する.受講者全員で対話をしながら比較し,体験や気づきを言語化し,共有を行うのである.前述の要望に対応しながら受講者が実際に開発したプロダクトを示す(図3,4参照).
これらの2つのプロダクトは,同一の仮想ユーザの要求(2.3節で記した遊園地に関する要求)に基づき制作されたものである.図3は,あるチームがウォータフォール開発のアプローチで制作したものであり,図4は別のチームが異なる(アジャイル開発の)アプローチで制作したものである.どちらのチームも,遊園地での家族の記念写真という要求を満たすよう,家族と売店と遊園地の乗り物を制作しているが,完成したプロダクトの外見や内容は大きく異なっている.実際の研修では,同じ仮想ユーザの要求であっても,このような差がなぜ生まれたのかを参加者全員で振り返りを行う.これにより,更に良いプロダクトを作るために何が必要かを考える機会となる.
本章では初めに質的分析アプローチの手順の流れを示す.次に本手順をアジャイルマインド研修に適用した実践内容を示す.分析手順では,研修受講者が研修での体験を通じてどのような理解を構築されたかを把握することを狙いとする.実践内容では,アジャイルマインド研修の受講者から得られた質的データを対象とする.質的データは,開催ごとに受講者からアンケートにより得られた回答(自由記述)になる.
分析手順は6つのステップで構成される(図5参照).6ステップは2つのフェーズに分かれる.ステップ(1),(2)は,2種類の質的データを準備するフェーズ,ステップ(3)から(6)は,学習プログラムの実施結果の分析を行うフェーズになる.
これら(1)から(6)のステップでは,(3)データのタグ付け,(4)タグの表現・説明範囲の平準化において,データを繰り返し読み込み,分析していく.また,(5)の再構築の際に,複数のコンテクストを含むタグの表現がある場合は,(4)と(5)を繰り返して分析を進める.
本分析手順を通じて分析の実施者は,研修プログラム(意識教育)の受講者のなかに,どのような深い理解が構築されたかを把握していく.対象データの中に表現されているコンテクストを理解して分析するために,データは断片化せず,分析者が読み込みながら分析を行う.
アジャイルマインド研修は,アジャイル開発のアプローチ,およびアジャイルマインドを理解することを狙いとして設計されている.本ステップでは,学習プログラムで想定している学習目標を明文化した(表1参照).本手順の後半のステップ(6)での評価軸となるため,4項目に分けて記述をした.項目番号は優先度も意味している.すなわち,1番目の項目(項番1)が研修運営側は最も受講者に理解してもらいたい内容を表す.
受講者から研修で体験した内容をフィードバックしてもらうアンケート項目を作成した(表2参照).アンケートは,研修終了後に電子媒体のアンケートとして受講者に配布し,1週間以内にアンケート回答の回収を行った.
アンケートの配布対象は,本研修20回分の受講者である合計201名であり,受講者全員から回集できた.アンケートでは,受講者に主体的に捉えているかという観点より,初めに本研修で学んだ内容を参加者自身の業務への適用有無を回答してもらった(表3参照).そのうえで,「ある」と回答した場合には,自由記述によりその理由を記載してもらった.以降では,実務へのフィードバックが「ある」と回答した174件のデータ(全体の86.6%の受講者の回答)を解析対象とする.
研修の体験を通して,受講者が「何を理解したか」を各受講者のフィードバックデータ(自由記述式のアンケート回答)から一意となる短いフレーズで意味を拾い出し,それをタグとして分類していく.図6にステップ(3)からステップ(5)までの流れを示す.タグで分類した状態の分析シートの一部が本図の最上段に表示されている.本シートは,表の2列目(表側に相当する列)に,受講者からの回答文が記載される.表の2行目(表頭に相当する行)には,タグの内容を記載する.
本ステップの具体例として,本表の1つ目(3行目)のアンケート回答「短いスパンでメンバとプロダクトオーナーが成果物をコミット→レビューするというルールは取り入れてみたいと思った」を取り上げる.この回答には,2つの内容について言及していることが読み取れる.回答文の前半の「短いスパンでメンバとプロダクトオーナーが成果物をコミット→レビューする」という記述からは,「短いスパンで価値を届ける」という意味を読み取れる.そこで,この記述を1つ目のタグとする.次の「ルールを取り入れてみたい」という記述からは,この回答において言及しているルールが,何を意味するかに着目する.実際にここで言及しているルールは,本研修内で体験するルール(アジャイル開発のアプローチで推奨される複数ルール)の一部分のみであることが分かる.したがって,「一部を取り入れてみたい」という意味であることが読み取れる.そこで,この記述を2つ目のタグとする.以上より,この回答には2つのタグ付けがなされる.この結果は,分析シートの当該回答行の2つのセルに丸付けがされる.このように各受講者の自由記述のアンケートから「受講者が学習プログラムで理解したこと」を読み取り,一意の短いフレーズ(タグ)を付けていく.受講者の回答記述内容によっては,上述の具体例のように複数の複数のタグが付くことになる.
前ステップで作成したタグは,受講者からの回答の自由記述から拾い出したものである.そのため,タグの記載のみでは,内容や文脈が伝わりにくい場合もある.そこで本ステップでは,タグの記載内容の平準化(語調や表現を揃える)を行う.
平準化の具体例として,前ステップで作成したタグである「一部を取り入れてみたい」を取り上げる.本ステップで平準化することによりこのタグは「Scrumのルールを取り入れてみたい」を含む9個のタグに詳細化された(図6参照).
平準化の流れは以下のとおりである.ステップ(3)で「一部を取り入れてみたい」というタグが付いた回答件数は15件存在した.本ステップでは,これらのアンケート回答に対して,「何を取り入れてみたいのか」という観点で,再度アンケート回答を読み返すことを行った.「何を具体的に取り入れてみたいか」という観点で各アンケート回答を読解する.自由記述の回答には,Scrumの価値提供に関する「短いスパンでメンバとプロダクトオーナーが成果物をコミット→レビューするというルールは取り入れてみたいと思った」という回答や,Scrumのプロセス中心の「実際の開発フローの中に取り入れるにはもう少しアジャイル開発を学ぶ必要があると思うが,普段の業務の中でスプリントを回しながら取り組むという手法は生かせそうだと感じた」などの回答が含まれていた.これらは,Scrumに関する言及であったため,タグを「Scrumのルールを取り入れてみたい」と平準化を行い,このタグに15件の回答をまとめた.以上のように,本ステップではタグ内の自由記述の回答の内容を読み返したうえで,言及している内容に基づきタグの名称を平準化する作業を繰り返し実施した.
前ステップで平準化したタグを改めて読み返し,似たような内容でまとめ,それらタグのまとまりに対して名称(ラベル)を付ける.
「一部を取り入れてみたい」というタグを前ステップで平準化して9個のタグに細分化したように(図6参照),平準化したすべてのタグを意味的に近いものをグルーピングしてまとめることを繰り返し,最終的には,115個のタグに対して,55個のサブラベル,24個のラベルを生成した(表4参照).
また,ラベルをまとめた際に,各ラベルに対応するフィードバックデータ(自由記述のアンケート回答)の該当数をヒット数として集計した(表4参照).ラベルの該当数は,より多くの受講者が当該ラベルの内容を体験として強く認識したことを意味すると考えられる.
学習目標にラベルをマッピングしただけで評価を行うと,ラベル自体が平準化され,多くの受講者が反応したラベルと少ない受講者が反応したラベルが同じ重み付けになっているため,受講者がどこをより理解しているケースが多いかを把握する必要がある.
そこで,前ステップで抽出したラベルと,ステップ(1)で作成した学習内容の言語化の仮説設定(表1参照)とを比較し,評価を実施した.はじめに,学習内容の言語化の仮説設定の各項目と,該当ラベルをマッピングし,該当ラベルのヒット数(表4)と併せて集計する(図7参照).
該当ラベルがない学習目標の項目は,体験を通してその項目が理解しづらい構成に学習プログラム自体がなっている可能性があるため,最初に受講者の体験ができていない学習項目がないか,学習目標とのマッピング結果を確認する.次に,該当ラベル数から,受講者がどの学習目標を強く体験を通して理解しているかなど学習プログラムの受講者の理解に関するカバー領域を把握する.
アジャイルマインド研修では,図7から該当ラベルのない学習目標はなく,想定どおりの体験を提供できており,理解をしてほしいと優先的に考えているアジャイルの考え方の該当ラベル数が多いことから,狙いどおりに受講者に体験を通した理解が提供できていると考えられる.また,想定している学習目標とは違う別の学びを得ている受講者もいることが分かる(図7「その他」).ラベルNo.からタグを確認すると,ウォータフォールを改めて理解した,本学習プログラムの効果と適用先,その他が該当した.
どの点を受講者が体験を通して理解したかは,図7の結果から,コミュニケーションが重要(ラベルNo.11),フィットする案件を見極めて適用する(ラベルNo.5),実務への即時取り入れ(ラベルNo.1)のラベルのヒット数が高く,学習目標の優先度順に体験を通した理解がしやすくなっていると考えられる.その他の本学習プログラムの効果と適用先(ラベルNo.23)のヒット数も高く,適用先として受講者のアンケート回答から展開先として検討できる情報が得られた一方で,ウォータフォールでもアジャイルの考え方をする(ラベルNo.21),アジリティのある考え方(ラベルNo.20)が次点となっているため,この部分が受講者に体験を通して理解できるように学習プログラムを改善する余地がある点だと考えられる.
以上6つのステップで構成される質的データ分析のアプローチにより,アジャイルマインド研修の受講者が,どこを強く理解しているかを把握することができた.また,学習プログラムの評価・改善につながる知見も得られた.
本節では提案するステップを実践するうえで留意する内容を,想定より難易度が高かったステップや,誤りが発生しやすいステップを指摘するとともに述べる.
ステップ(4)の平準化では,次のステップ(5)でグルーピングをするためのデータの前処理を行う.具体的には,受講者の自由記述の回答を,タグごとに抽象度が統一された表現の要素に変換して抽出する必要がある.一方,受講者の自由記述の回答内容を詳しく読み直すと,自分の業務内容を具体的に記述したもの,逆に抽象的に記述したもの,さらに極めて短く(少ない内容で)記述したもの,などが混在しているケースが散見された.次のステップ(5)のグルーピングのためには表現を平準化する必要がある.そこで,特に具体的な表現で記述された内容は,意味は変わらないように表現の見直し(抽象度の高い表現に変換)をする必要があった.実際の作業ではこの変換作業がかなりの時間を要することになった.
ステップ(4)の平準化の作業にかなり時間を要した理由の1つは,筆者らが作成した設問の内容が,受講者の広い解釈を可能にする表現であったことが挙げられる(表2参照).本設問では,筆者らは受講者が回答をしやすいと考え,業務への適用という抽象度の高い表記をした.そのため,各受講者が,個人の作業に関すること,業務のプロセス,プロジェクトの全体に関すること,など様々に解釈をして,回答した.今後の設問の設計方針としては,「個人の作業」と「それ以外」にカテゴリ分けをして,回答者に記述してもらう工夫も必要と考える.回答者の答えやすさも考慮しつつ設問の形態を工夫することが,本ステップの後続のステップの作業効率化につながる.
一方,ステップ(1)の学習目標の明文化と優先度付けから,ステップ(3)の適切なタグを選択し,不適切なタグの排除をすることまでは,大きな問題や誤りは発生しなかった.これは,本ステップで扱う学習目標は所与のものであったためである.換言すれば,学習目標自体は,学習プログラムの設計時にすでに定義済みである.本ステップはそれらの内容を理解し,受講者の自由記述の回答に対してタグの選択・排除をする作業だけである.学習プログラムの内容を把握していれば,以降のステップと比較し,特別な知識やスキルは不要であった.
以上のことから,提案ステップの幾つかについては,更なる工夫や効率化が必要な箇所は残存しており,今後の改善が必要と考える.
本稿で提案した質的分析のアプローチは,意識教育を目的とした学習プログラムにおける受講者の学習効果の把握を目指したものである.分析手順の適用においては,複数回にわたり実施した学習プログラム(アジャイルマインド研修)の受講者から,自由に記述してもらったフィードバック(自由記述式のデータ)群に対して,グループ化や構造化,さらにデータの再度構成を実施し,各グループへのラベリングを実施した.これにより,当該研修期間を通じて受講者が体感・理解できていた主だった内容について,自由記述式のデータに表現されているコンテクストのラベルを通じて把握することができた.加えて,あらかじめ研修提供者が用意していた当該研修において学習して欲しい内容とのセマンティックマッチング(意味的な突合)を行った.結果として,研修における提供者側の学習想定と,受講者側の学習実績が一致した内容(想定どおりの学習),および不一致の内容(想定外の学習)の見極めをすることが可能になった.
本分析を通じて得られた知見は,1章で述べた研修の効果測定への活用以外にも価値があると考える.たとえば,研修カリキュラムの目的の見直しや内容の改善,研修終了後のフォローアップ(追加の学習プログラムの推薦・追加情報の提供)にも活用が可能である.一方,本分析はあくまで受講者全体の主だった学習内容を把握することを狙いとしている.受講者一人一人の学習内容やその到達度を踏まえたうえで,個別に対応するような場面では別の分析が必要である.
分析結果では,筆者らが作成・実践しているソフトウェア開発におけるアジャイルマインド学習プログラムを題材とし,提案する質的分析の手順の適用を実施した内容を示した.質的分析に際しては,研修提供側の学習内容の仮説を言語化したデータ,および受講者からのフィードバックデータの2つを入力データとした.これら入力データは,研修カリキュラムの内容や研修期間の長さにかかわらず,作成・入手は可能なものである.そのため,提案する質的分析のアプローチの適用条件は,本稿で題材として取り上げたアジャイルマインド研修に依存するものはないと考えられる.意識教育を狙いとする学習プログラムには対して広く適用可能なものである.
一方,提案アプローチの中心的な作業の1つは,前述の2つの入力データの内容の読解に相当する.特に受講者に対しては,自由記述を求めている.そのため,記述分量や粒度,用いる語句は千差万別であるのが実態である.このような非構造化されていない自然言語記述データを読解する作業は,読み手の能力や経験に依存することになる.具体的には,もし回答内容に疑問や不明点があった場合に,その時点では研修は終了していることから,回答者に追加質問をすることが難しい.そのため読み手には,回答内容(データ)の読解の際,自然言語記述データに不足している情報の補完や,記述レベルの抽象度を揃えて理解することが求められる.前節までにおいて提案する分析の手順の適用性は高いと言及した.一方,これと比較して,手順の実施者(読み手)に求められる知識・スキルは高いと言える.
知識アップやスキルアップを狙いとして設計した学習プログラムを,受講者が体感した体験を読み解くことで,受講者がどのように受容され,形成された理解を評価する手法を,アジャイルマインド研修を適用例として,明らかにした.
意識教育を狙いとする学習プログラムに対して広く適用可能なものである.今後は,デザイン思考の研修プログラムなどにも本分析手法を適用するなどしていきたい.
NTTテクノクロス株式会社.1998年産業能率大学経営情報学部情報学科卒業,同年NTTソフトウェア(現NTTテクノクロス)入社.ソフトウェア開発に従事.2016年日本電信株式会社に出向し,ソフトウェア工学に関する研究開発に従事.2018年より現職.ユーザ調査,UX,デザイン思考,アジャイル開発などを駆使したサービスデザインに従事.
日本電信電話株式会社.2001年慶應義塾大学大学院修士課程修了,同年NTTデータに入社.2015年日本電信電話株式会社に転籍.現在,コンピュータ&データサイエンス研究所に所属.2016年~2018年カリフォルニア大学アーバイン校客員研究員.ソフトウェア工学,要求工学に関する研究開発に従事.2007年慶應義塾大学大学院博士課程修了.博士(工学).
会員種別ごとに入会方法やサービスが異なりますので、該当する会員項目を参照してください。