本研究では、教師が作成した作業手順書にもとづいて、学習者の操作をガイドできるティーチングアシスタントの役割をもつデスクトップマスコット型の知的エージェントの開発を目指している。学習者が注目すべき場所をマスコットが指示するには、手順書に掲載された画面イメージ（アイコンなど）が、利用者のPCの画面上のどこに表示されているか認識する必要があるが、様々な解像度等が一般化した近年のPC環境では、単純なテンプレートマッチングに限界があった。本発表では、画面の解像度等の情報と疑似的に生成したPC画面を学習データとした機械学習を用いて認識をする方法について検討した結果を報告する。