JST RISTEX採択のプロジェクトで開発した詐欺抵抗力診断アプリは、質問紙690件の回答で学習したロジスティック回帰を用いて開発した。その性能を実環境で収集した8778件の回答で評価したところ、陽性が少ない不均衡クラスで正解率は87%だったが、再現率1%、ROC下面積0.53だった。
本研究では、学習する際に不均衡クラスを考慮して重み付けを行ったところ、再現率は69%に向上したが、正解率44%に半減、ROC下面積0.57に若干向上した程度であった。
実環境収集データで交差検証を行って学習させると、正解率80%、再現率69%、ROC下面積0.82と大幅に向上した。
質問紙のデータには陽性が少なく学習が不十分であったと考えられる。