対話システムでは、ユーザ発話から意図や要求を抜き出して対話状態を更新・保持する対話状態追跡の技術が重要である。本研究では、大規模なニューラルネットに基づく対話状態追跡に、エッジデバイス（小型の埋め込みデバイス）上で高速・低遅延に動作させるための改善を行う。具体的には、BERT の Attention 部において Context 情報を固定サイズの線形関数に要約する Lambda-network を導入することで計算の効率化を行う。実験の結果、デバイス上でメモリ量を18％、遅延時間を34％削減できた。また、入力履歴を2から6発話に増やすことで、遅延時間を抑えつつ推定精度を向上することができた。