生産労働人口の減少と働きかた改革と合わせてRobotic Process Automation(RPA)がオフィス分野の効率化において注目を集めている，しかしながら，RPAには軽微な仕様変更に合わせてパラメータ調整などが必要になる点や自動化できる範囲が情報システム内に限られているため適用範囲拡張が必要な点などの課題がある．本研究では物体検出とロボットアームを組み合わせることで人間の眼や腕の動作を再現することでオフィス業務での複雑な定型業務に対応するRPAの実現を目的として，外部企業との共同研究でスマホアプリ稼働監視システムの実装を行なった．本稿ではRPAの一例として構築システムに適用した工夫，画像データ収集方法の検証実験について報告する．