視覚障害者には、コミュニケーション手段の一つである手話という言語がある。手話は、手指信号である手や指の動きと非手指信号である顔の動きを使って表現する視覚言語である。その中でも非手指信号の一部を担う「顔」は、重要な役割を担っている。普段私たちがコミュニケーションをする際に顔を見て話をするように、手話による会話でも顔の表情や口の動きをみることが多い。
従来の手話認識モデルは,手の形と動きにのみ焦点を当てる認識技術が多い。しかし、手話は顔の表情によって伝わり方が変わったりすることがある。よってここでは、手話を翻訳しテキスト化する際に、感情の付加を行うことで心情伝達の効率化を考えた。