近年，深層学習を適用した精度の高い音声認識，画像認識がクラウドサービスを利用可能となってきている．このような各サービスを統合し，人間が聴覚や視覚を駆使して行う業務をロボットサービスとして実現することを本研究では課題とする．
本稿では，英語教育における教師の業務支援を行うロボットサービス開発のため，マルチモーダル業務ルールベースの記述方式と，専門家の業務知識を言語的な表現から個々の認識サービスの認識結果までを階層的に入力するインタフェースの開発について述べる．