1．はじめに

情報技術の発展に伴い，インターネットを介して作業の委託・請負を行うクラウドソーシングという新たな労働力の調達方法が登場してからしばらく経った．クラウドソーシングは，一般的な作業の委託・請負のみならず，学術目的にも広く利用されている．たとえば，アンケートによって心の仕組みを明らかにする心理学分野を始め，社会科学領域ではクラウドソーシングを用いたアンケートデータの収集が頻繁に行われている．ただし，このようなクラウドソーシングの利用は，特に海外の研究者を中心として行われており，国内ではあまり普及していなかった．筆者らは，国内の心理学領域の研究者に先駆けて，クラウドソーシングを利用したアンケートデータの収集を行い，その方法について紹介してきた[1]．本稿では，筆者らが行ってきた実践および，そこで直面した課題や得られたノウハウについて紹介する．

2．アンケートデータの収集

社会科学領域の研究ではアンケートによるデータ収集が行われている（図1）．分野による違いもあるが，その中でも心理学の領域の研究では，アンケートを用いることが非常に多い．心理学者は，パーソナリティや態度，感情状態，刺激に対する評価など，さまざまな種類の測定項目からなるアンケートを多数の回答者に配布し，データを収集・分析することで心の仕組みを明らかにしてきた．

2.1　従来のアンケートデータ収集に伴う課題

これまで，社会科学領域における研究では，大学生を対象に，紙のアンケートを配布・回収する形で実施されることが多かった．このような従来型のアンケートデータの収集には，データの代表性，および，アンケート実施にかかわるコスト，という主に二つの課題があった．

まず，データの代表性に関する課題について説明する．アンケート結果の分析から導出される知見の一般化可能性を高めるためには，より代表性の高いサンプルを対象にすることが望まれる．たとえば，調査会社にアンケートの実施を依頼すれば，年齢に偏りのない，比較的代表性の高いサンプルにアクセスすることができる．しかし，調査会社を利用すると，高額な費用が必要となるうえ，アンケートに含められる項目数や内容に制限もある．そのため，実施の容易さという観点から，これまでのアンケートデータの収集は，必然的に研究者からアクセスがしやすい大学生サンプルが主な対象となっていた．その結果として，欧米において，社会科学領域の研究の主たる対象が西洋先進国の学生，いわゆるWEIRD（Western Educated Industrialized Rich Demographic）に限定されてきたことが問題として指摘されている [3]．WEIRDのような偏ったサンプルから得られた知見は一般化可能性の点で限界がある，とする主張である．これは，従来の国内の研究に対しても同様のことがいえる．すなわち，従来型のアンケートデータの収集には，日本人大学生というサンプルの代表性，およびそこから得られた知見が，日本人全般の傾向として，または世界中の人々にも共通する傾向として解釈してよいかという一般化可能性に疑念があった．

次に，アンケート実施にかかわるコストに関する課題について説明する．従来型の紙を用いたアンケートに際しては，実施者には多大な労力がかかっていた．回答者数にもよるが，実施前には，一部につき十数ページもあるアンケート冊子を数百部以上も印刷・製本しなければならなかった．一度のアンケートで複数の種類のアンケート冊子が必要な場合^☆1，その作成にかかる労力は倍増した．アンケートを実施先の大学などに運び，配布・回収したあとは，一部につき百項目近い項目が含まれるアンケートへの回答を手入力によってデータ化する必要があった．入力ミスを防ぐために，同じアンケートのデータを複数人が入力する必要もあった．このようなプロセスを経て，ようやくデータの分析・仮説の検証を開始することができた．したがって，アンケート用紙の作成から分析までは一週間から二週間程度，場合によってはそれ以上の時間がかかっていた．さらに，回収したアンケート用紙は研究プロジェクトが完了した後も数カ年は保存する必要があり，このことも研究者の負担を増加させる要因となっていた．

以上のように，従来型のアンケートデータの収集には，得られたデータの代表性・知見の一般化可能性，実施にかかるコストなどの課題があった．しかし，代替手段がなかったため，このような課題が認識されながらも大きく見直されることなく今日まで行われてきた．こうした中で，近年になり，これらの課題を解消する方法としてクラウドソーシングが注目されるようになった．

2.2　クラウドソーシングの登場

クラウドソーシングとは，従業員によって行われている機能を，Web上に開かれた外部ネットワークを通して，世界中の群集 （＝クラウド）へ委託（＝ソーシング）することを意味する[4]．特に，この群衆はワーカと呼ばれる．クラウドソーシングにはさまざまな形態があるが，中でもきわめて小さい単位の仕事を，低価格で，多くのワーカに委託するタスク型のクラウドソーシングは，海外の社会科学領域の研究において利用されるようになってきた．

クラウドソーシングを用いたアンケートデータの収集の特徴として，サンプルの多様性とデータ収集の迅速さの二点がある [1]．クラウドソーシングを利用すれば，国籍・年齢が多様な世界中のワーカに対して一斉にアンケートを配布できる．したがって，得られた知見を一般化できる範囲は従来型のアンケートデータと比較して広くなる．加えて，インターネットを介して沢山の人々からデータ収集を行うため，少ない労力によって短時間でのデータ収集が可能となる．このように，従来型の方法に伴う課題を解消できるクラウドソーシングは，2007年頃から，海外の社会科学領域の研究者の間で，アンケートデータ収集のための有益なツールとして盛んに利用され始めてきた．

一方で，今日に至っても，国内の研究者による利用はあまり活発に行われていない．これは，近年になるまで，海外の主要なクラウドソーシングサービスが日本国内からは利用できなかったためである．そうした中，筆者らは，2015年時点で国内から利用可能な海外のクラウドソーシングサービスに着目し，国内研究者に先駆けてクラウドソーシングを利用したアンケートデータの収集を行ってきた．

3．クラウドソーシングを用いたアンケートデータの収集に関する実践

これまで，筆者らは，パーソナリティや感情が認知・行動に与える影響の検討など，多岐にわたるプロジェクトにおいてクラウドソーシングを利用し，延べ数千の回答者からのアンケートデータを回収してきた．ここでは，筆者らがこれまで行ってきたクラウドソーシングによるアンケートデータの収集方法について紹介した後，それらの実践の中で直面した課題について取り上げる．

3.1　アンケートデータの収集におけるクラウドソーシングの活用方法

大半のクラウドソーシングサービスには，簡易的なアンケートを作成する機能が備わっている．シンプルな内容の研究であれば，こうした機能を使ってアンケートデータを収集すればよいだろう．しかし，研究によっては，より複雑な設定を伴うアンケートを実施したい場合がある．たとえば，特定の質問が必ず先頭に表示される状態を避けたり（項目順序のランダム化），ある行動の原因となる心理的要因を実験的に明らかにするために，参加者を実験条件と対照条件に割り当てる場合^☆2が挙げられる．他にも，参加者の精神的負担の軽減するために残り時間をフィードバックすることもある．以上のような設定を備えたアンケートをクラウドソーシングによって実施するために，筆者らは，オンラインアンケートの作成に特化した外部サービスとの連携という方法を用いてきた（図2）．

具体的な手順は以下の通りである．まず，任意の外部サービスを用いて事前にオンラインアンケートを作成する（①）．このとき，アンケートの最終ページに特定のパスコードが表示されるように設定しておく．次に，クラウドソーシングサービスでタスクを作成する（②）．

タスクの内容は，「（外部サービスで作成した）アンケートへ回答したあと，最終ページに表示されるパスコードをテキストボックスに入力すること」とする．これによってクラウドソーシングサービスとオンラインアンケートの紐づけは完了である．

ワーカはクラウドソーシングサービスに掲載されたURLからアンケートに回答し（③・④），最終ページに記載されたパスコードを確認する（⑤）．そして，クラウドソーシングサービスに戻り，パスコードを入力する（⑥）．研究者は，入力されたパスコードの正誤を確認したあと（⑦），ワーカに報酬を支払う（⑧）．このようなフローを作ることで，任意のクラウドソーシングサービスを用いて，外部サービスで作成した複雑なオンラインアンケートへの回答を依頼することができる．

なお，アンケート作成のための外部サービスとしては，QualtricsやGoogle form，Survey Monkeyなどが有名である．特にQulatricsは，有料での使用が前提となるが，さまざまな機能が実装されており，参加者の回答に応じて異なる質問を提示するなど，動的なアンケートの作成に適している．また，非公式ではあるが，Qualtricsの利用方法やアンケートの作成方法，ティップスなどをまとめた無料のマニュアルも公開されており [5]，簡単に理想通りのアンケートを作成できるため有用である．このように，Qualtricsなどの外部サービスと連携すれば，自らのニーズにあったオンラインアンケートとクラウドソーシングを用いた大量のデータ収集が可能となる．

4　クラウドソーシングの利用に伴う課題

筆者らは，このような手続きによってクラウドソーシングを利用したアンケートデータ収集を実践してきた．初めてクラウドソーシングを利用した際，わずか一晩で数百名のアンケートデータを集め，翌日にはデータの分析に着手することができたのだが，従来型の方法とは比較にならないほどの迅速さは，筆者らに大きな衝撃を与えた．同時に，クラウドソーシングは，これからのアンケート研究のあり方を大きく変える革命的な手段になるだろうという期待が高まった．しかし，実践を行っていくうち，また収集されたデータの分析していくうち，クラウドソーシングの利用には必ずしも欠点がないわけではなく，むしろ従来型の方法にはない固有の課題がいくつかあることがわかってきた．

4.1　データの信頼性担保に関する課題

まず，データの信頼性を毀損する課題として，教示文の読み飛ばしと重複ワーカの存在という2点に直面した．

当時，実施していたアンケートは，特定のテーマに合わせた自由記述を行うパートを含んでいた．このパートは，参加者に異なるテーマを与え，それに沿った自由記述をさせることで，参加者の心理状態を実験的に操作することを目的としていた．データ収集後，自由記述の内容を確認したところ，無意味な文字の羅列などの明らかに不適切な回答や，提示したテーマに沿わない自由記述などが散見された．これらは，参加者による「教示文の読み飛ばし」によるものと考えられ，従来型のアンケート方法では殆ど見られなかった事象である．教示文を熟読していない参加者のデータの存在は，実験的操作を含むアンケート結果の有効性を毀損するものである．したがって，クラウドソーシングを利用する上では，こうしたワーカを減らす対策を講じる必要がある．

もう1つの新たな課題は，重複ワーカの存在であった．データを収集したあと，全ワーカのID情報を確認したところ，1つのアンケートのなかでIDが重複するワーカが数％程度の割合で存在していた．同じように，類似する二つのアンケートを同時期に実施した際，アンケート間でワーカが重複することもあった．こうした重複も，従来型の方法では殆ど見られなかった事象である．重複ワーカは一度目の回答の後，すでに研究目的をデブリーフィング^☆3されているため，二度目の回答の際，他のワーカと異なる回答傾向を示す可能性がある．したがって，クラウドソーシングを利用しつつデータの信頼性を担保するためには，重複ワーカの存在をできるだけ減らす必要がある．

4.2　ワーカへの配慮に関する課題

以上のような，データの信頼性に関する課題とともに，研究者側からのワーカに対する配慮に関しても入念に検討する必要があることが分かった．具体的には，倫理的な配慮と報酬額の設定の二点である．

アンケートなど，人を対象とするデータの収集にあたっては，参加者への倫理的配慮が不可欠となる．具体的には，回答の任意性の担保，回答途中での参加を辞退する権利の確保，データの匿名性の保証などがある．これらの事項について参加者に説明したのち，インフォームドコンセントを受けることが必要である．従来型の対面式のアンケートでは，アンケート冊子の表紙にこれらの説明を記載するとともに，研究者自らが口頭で説明することで，参加者からの十分な理解を得られていた．しかし，インターネットを介してタスクを依頼するクラウドソーシングの性質上，研究者とワーカが対面して直接的にやり取りをすることはない．したがって，従来型のアンケートデータの収集以上に，倫理的な配慮に関してワーカからの理解を得る方法についての入念な検討が必要である．

また，報酬額の妥当性についても検討する余地があった．クラウドソーシングでは，発注者，すなわちアンケートへの回答を委託する研究者が自由に報酬額を設定することができる．また，受注者であるワーカは，それらの報酬額や作業内容を考慮したうえで，受注するタスクを自分の意思で選択・請負うことができる．したがって，ワーカと研究者の間で合意が得られれば報酬はいくらでも構わないように思われる．しかし，ワーカがタスクを受注する際に開示される作業内容の情報は研究者に委ねられている．倫理的配慮の場合と同様，非対面でタスクの委託・請負をおこなう中では，研究者が意図せずとも，作業内容に関して十分な説明がなされない場合もあると考えられる．このとき，開示された内容と実際の作業内容に乖離が生じ，実際の作業内容と比較してわずかな報酬しか受け取れないという不公平さをワーカが感じる可能性がある．そのため，どういった基準をもって報酬額を設定すべきか，従来の方法以上に検討する必要がある．

5．実践から得られたノウハウ

筆者らは，クラウドソーシングによるアンケートデータ収集の実践にあたって，以上のような課題に直面してきた．その中で，先行研究での議論を参考にしながら，それぞれの課題に対して対処してきた．以下では，筆者らが実践してきた対応方法について紹介する．

5.1　データの信頼性担保に関するノウハウ

クラウドソーシングのワーカは，必ずしも全員が研究者の意図通りにタスクに取り組んでくれるわけではない．4.1節で述べたとおり，教示文を読み飛ばすワーカや，重複して参加するワーカがいる．クラウドソーシングの利用にあたっては，データの信頼性を担保するために，こうしたワーカの存在に対応する必要がある．

まず，教示文を読み飛ばすワーカの問題を取り上げるが，その対応方法について紹介する前に問題の背景にあるオンラインアンケート参加者の「努力の最小限化（satisfice）」という考えについて説明する．先に紹介した手続きによってクラウドソーシングによるアンケートを実施した場合，入力されたパスコードが正しければ，研究者はワーカに報酬を支払う．ワーカの側からすれば，正しいパスコードさえ取得できれば報酬が得られるため，アンケートの回答は真面目でも不真面目でも構わない．したがって，一部のワーカは，最小限の努力で報酬を得るために，教示文や尺度項目を熟読せずに当てずっぽうな回答をする場合がある．このような行動を努力の最小限化とよぶ[6]．「教示文の読み飛ばし」はこれに該当する．クラウドソーシングを利用する際，研究者とワーカはお互いに顔を合わせることがないため，参加者であるワーカの行動を十分にモニターすることが難しい．そのため，クラウドソーシングを用いたアンケートにおいては努力の最小限化が生じやすい．たとえ短時間で大量のデータを収集できたとしても，努力の最小限化が行われた信頼性の低いデータが混在する場合，そこから得られた結果もまた信頼できなくなる[7][8]．したがって，クラウドソーシングを用いた研究を実施する場合，努力の最小限化をしたワーカをスクリーニングする必要がある．

これまで，努力の最小限化をした参加者をスクリーニングするさまざまな方法が提案されてきた．そのなかで，参加者がアンケートの教示文に対してしっかりと注意を払っているかを判断する方法としてIMCがある[9][10]．IMCでは，長い教示文と複数の選択肢を提示し，教示文の最後に「以下の選択肢は無視して次のページに進んでください」といった形で回答の仕方を指示する．指示に従っていない場合，その参加者は教示文を熟読していなかった，すなわち努力の最小限化をおこなったと判断される．また，リッカート式^☆4の尺度内に「1を選択してください」という項目を紛れ込ませることで，参加者が項目に対しても注意を払っているかを判断することもできる[10]．他にはBogus question [11] がある．これは，「私は今まで歯を一度も磨いたことがない」のように，すべての参加者が必ず同じ回答をすると予測される項目をあえて設置するものである．こうした項目に対して大多数の参加者と異なる回答をした参加者は，項目を熟読していない可能性が高いと判断される． 実際に，筆者がアンケートデータを収集した際，IMCによってスクリーニング対象を検出したところ，20%近いワーカがその対象となったことがあった．当然のことながら，これらのデータを除外する前と後とでは分析結果が大きく異なっていた．こうした経験から，データの信頼性を担保するためには，IMCによるスクリーニングの対象の検出が有効となることが明らかとなった．

なお，この他にもさまざまなスクリーニングの手法が開発されているが，1つのオンラインアンケート中ですべてを用いる必要はない．複雑な実験操作を必要とする研究であれば，操作の有効性を担保するために入念なスクリーニングが必要となる．一方で，簡単な意識調査であれば，項目の読み飛ばしがあったかをチェックすれば十分かもしれない．このように，どういったスクリーニングを設定するかは研究目的に依存する[10]．むしろ，スクリーニングの過度な設定によって生じるリスクを知っておくべきであろう．MTurkのワーカと従来の学生サンプルを対象にIMCの通過率を比較した研究 [12] では，複数の実験を通じて，MTurkのワーカの通過率が高かったことを報告している．この結果は，一見すると，クラウドソーシングのワーカは，従来のサンプルよりも努力の最小限化を行いにくいことを示しているように見える．しかし，これは同時に，ワーカの中にはスクリーニングに対して敏感な者が多いことを意味している．このようなワーカたちは，アンケート内のスクリーニングに対して疑いの目を向けることで，従来のサンプルとは異なる歪んだ回答傾向を示すことがある．結果，ワーカたちの注意深さ自体が，クラウドソーシングのデータと従来のデータとの乖離を生む調整変数となる可能性がある [12]．たしかに，ワーカによる努力の最小限化を検出するためにはスクリーニングの設置は不可欠である．しかし，いかなるスクリーニングをどの程度設置するかは慎重に判断すべきである．

次に，重複ワーカへの対応を紹介する．重複ワーカの対処に関して最も簡単な方法は，ワーカIDの情報をもとに，事後的に重複データを除外するというものである．これは，アンケートデータの収集の際にIDの情報さえ取得していれば良いため，非常に手軽な方法である．実際，このような形で重複ワーカを確認したところ，筆者らのデータにおいては全体のうち数％がスクリーニングの対象となったことがあった．しかし，この場合，重複ワーカへの報酬も発生するため，余計な実施コストを支払う必要がある．そもそも，事後的にID情報をもとにしてスクリーニングをおこなうこと自体が手間でもあった．こうした課題の解決策としてTurk Primeを用いた方法がある．

Amazon Mechanical Turk （MTurk）は海外の社会科学領域の研究者に最もよく用いられており，近年になって国内からも利用可能になったクラウドソーシングサービスである[13]．TurkPrimeは，このMTurkの外部連携サービスであり[14]，MTurkとTurkPrimeで作成したそれぞれのアカウントを紐づけると，TurkPrime経由でMTurkを操作できる．これにより，MTurk単体では難しい設定が可能となる．たとえば，ID情報を参照して，過去に実施したタスクに参加したワーカの参加を拒否できる．つまり，タスク間での参加者の重複を簡単に避けることができる．これを活用すれば，余計な報酬を支払う必要もなくなるうえ，事後的にデータを削除する手間も省けるため，重複ワーカの課題を一度にクリアすることができる．

なお，原則的に禁止されていることが多いが，同じワーカが複数のアカウントを利用していることがある．こうしたケースは，IDに基づくスクリーニングやTurkPrimeの設定で対処することは難しい．このときは，回答者のIPアドレスの情報に基づくスクリーニングを視野に入れるべきだろう．先に紹介したQualtricsで作成したオンラインアンケートでは簡単にIPアドレスの情報を取得して，スクリーニングをおこなうことができる．ただし，共有PCから異なる複数のワーカが回答している場合．IPアドレスの情報だけでスクリーニングをおこなうと，非重複ワーカを除外してしまうことになる．したがって，IPアドレスに基づくスクリーニングは重複ワーカをより厳しく除外したい場合に用いると良いだろう．

5.2　ワーカへの配慮に関するノウハウ

4.2節で述べたワーカたちへの配慮に関するノウハウについても紹介する．

まず，クラウドソーシングを利用する上で最も注意したい，ワーカへの倫理的配慮について述べる．従来型のアンケートとクラウドソーシングによるアンケートは，研究者と参加者が直接的にかかわる機会がないという大きな違いがある．そのため，参加にかかわる倫理的配慮の説明，研究目的のデブリーフィングについては，従来型のアンケートを実施するとき以上に分かりやすい表現を用いることで，すべてのワーカの理解を促す努力をした．その上で，インフォームドコンセントを受けるようにしてきた．さらに，発注者，すなわち研究者とワーカが個別の連絡ができるクラウドソーシングサービスを利用することによって，各種の倫理的配慮やその他の事柄について疑問を持った場合，ワーカが問い合わせできる機会を保証した．アンケートに対する問い合わせを受ける機会が多々あったことは，このような配慮が功を奏していたといえるだろう．なお，ワーカが安心して参加できるためには，問い合わせに対して迅速に対応できる状態でアンケートを実施する必要がある．特に，海外のクラウドソーシングサービスを利用する際などは，時差などを考慮して実施のタイミングを見計らう必要があるだろう．

その上で，匿名性の担保も配慮せねばならない．オンラインかつ非対面でのデータを収集するため，一見するとクラウドソーシングを利用したデータ収集は従来の手法よりも高い匿名性があるように見える．しかし，研究実施後，ワーカから研究内容への問い合わせやデータ破棄願いの申し出があった際など，個人とデータとを紐づけできてしまう場合もある[15]．これを防ぐための具体的な対応方法としては，データとIDの管理者を分けることなどが挙げられる．

最後に報酬額の設定に関する注意事項を述べる．これまで，社会科学領域の研究者たちは，大量のデータを迅速かつ安価に収集できるツールとしてクラウドソーシングを使用してきた．中には，わずか数セントの報酬で長時間にわたるアンケートへの参加を求めることもあった．このような，研究者とワーカの間の非対称的な立場に注意した上で [16]，低い報酬のタスクを一方的に押し付けることのないように，妥当な報酬額を設定すべきである [17][18]．この点について近年，たとえばMTurkを利用する際には，アメリカでの最低賃金以上，具体的にアンケートにかかわる回答時間を1時間に換算した場合に7ドル以上を支払うべきといった報酬額の設定に関する議論が展開されつつある [19]．しかし，今までのところ，そうした基準に関して，研究者間で共通した認識が得られているとは言い難い．そのため，筆者らは，自分たちのアンケートにおける妥当な金額を手探りで決定してきた．クラウドソーシングでは，ワーカが報酬額と作業内容を加味して，タスクを請け負うか否かを決定するため，研究者はこうした作業内容に関する情報の公開を慎重に行うべきである．たとえば，アンケートの回答にかかわる時間は，ワーカがタスクの請負を決定する際の重要な情報であるが，回答時間には個人差があるため，想像する時間よりも，長い時間がかかるワーカがいる可能性もある．したがって，平均的な回答時間よりも長めの時間を公開しておく方が良いだろう．その上で，報酬額を決定する際には，上述の議論のように最低賃金という基準を参照すると良いだろう．国際的なクラウドソーシングを利用する際は，さまざまな国のワーカがタスクを請け負う可能性がある．この場合は，潜在的な参加者の居住国の中で最も高い最低賃金を基準に報酬額を設定すれば，すべてのワーカに対して十分な報酬を保証することができる．

5.3.　その他のノウハウ

このほかにもクラウドソーシングを用いたアンケートデータの収集を行う際に筆者らが重要と考えるノウハウをいくつか挙げておく．

5.3.1　サービスの選択

先に取り上げたMTurk以外にも，海外にはさまざまな特徴を持つクラウドソーシングサービスが存在してしている．事後的にボーナスを支給できるか，使用言語などによるスクリーニングが可能かなど，各サービスの仕様には多くの違いがある．複数の選択肢があることを念頭に置いた上で，目的に応じたサービスを利用することが肝要である．

特に，利用するサービスによっては，タスクに関してワーカ間で情報共有が行われる可能性があるという点は注意しておくべきである．クラウドソーシングサービスの中には，ワーカ用のフォーラムを併設しているものがある．たとえばMTurkのワーカたちはMTurk Forumというフォーラムで，実際に完了に要した時間と報酬額から割の良いタスクの情報や，報酬の支払いを不当な理由で支払いを拒否する発注者 （e.g. 研究者） に関する評判情報を共有している．ワーカにとってフォーラムは非常に有益な場である [20]．一方で，フォーラムでタスクの情報が共有されるということは，事前に内容を知ったワーカが研究に参加する可能性があることを意味している．こうしたワーカの存在は，実験操作のインパクトを弱めるなど，少なからず結果に影響するだろう．したがって，フォーラムを併設するクラウドソーシングサービスを利用する場合には，実施中の研究に関する情報をモニタリングしておくとよい．場合によっては，アンケートの内容を事前に知っていたか尋ねる項目を含め，該当者のデータは分析の際に除外するといった策を講じるべきだろう[16]．

5.3.2　ワーカの特徴

クラウドソーシングサービスのワーカの特徴は，従来サンプルと異なるだけでなく，サービス間およびサービス内においても変化する．

まず，クラウドソーシングサービスのワーカと，従来の研究の対象である大学生サンプルには，パーソナリティ的特徴などに違いがある [21]．こうした要因の影響を受ける研究を実施する際は，基本的なパーソナリティを測定する項目をアンケートに含めるなど，従来サンプルから得られた知見との比較可能性を担保する工夫をすると良いだろう．

次に，各サービスが抱えるワーカによっても特徴が異なる．Peerらは，社会科学領域において代表的なクラウドソーシングサービスであるMTurk，CrowdFlower（CF），Prolific Academic（ProA）で同様のアンケートを実施し，データ収集にかかる時間や得られたデータの特徴を検討した [22]．その結果，CFは短期間で多くのデータを集められたが，データの信頼性は低かった．対照的に，MTurkやProAはデータ収集にかかる時間は長いが，データの信頼性は高いことが明らかになっている．

加えて，同じクラウドソーシングサービスを用いていたとしても，実施するタイミングによっては参加するワーカの特徴も異なってくる．10,000人近いMTurkワーカを対象として異なる曜日・時間帯に同じアンケートを実施した研究 [23] では，平日よりも休日のほうがワーカの平均年齢が高いことや，熟練ワーカの数が時間帯によって異なることなどが明らかにされた．

このように，クラウドソーシングによるデータ収集といっても，利用するサービス・実施のタイミングによって集まったデータの特徴は異なる．したがって，研究目的にあったデータ収集をおこなうためには，こうした差異に留意しておくことが望ましい．

5.3.3　結果の報告における留意点

以上のように，たとえ同じアンケートを実施したとしても，用いたサービスや実施のタイミングなどによって結果が変わる可能性は十分にある．このため，研究の再現可能性の向上のために，クラウドソーシングにかかわる各種の情報を論文中で報告することが重要となる．そうした情報には，利用したサービスは当然のことながら，ワーカの居住国，報酬額，ボーナスの有無，実施日時，および期間，途中棄権率，ブラウザ情報 [17][22] などが含まれる．今後，クラウドソーシングの利用が普及するにつれて，研究成果を発表する際にこれらの情報の報告が不可欠になると予測される．したがって，これからクラウドソーシングを利用する場合は，研究の実施に際して各種の情報の記録に留意しておくべきである．

6．まとめ

近年になって急速に普及したとはいえ，新たな雇用形態であるクラウドソーシングの学術目的での利用は，まだ始まったばかりである．これまで見たように，数年前には指摘されていなかった問題が今日になって新たに取り上げられている．利用者が増えるにつれて，今後も新たな問題・課題は必ず現れてくるだろう．同時に，研究成果の発表に報告すべき情報も変わってくると考えられる．今後は，常にこうした情報をキャッチアップしながら慎重にクラウドソーシングを利用していくことが望まれる．