自然言語処理の技術発展により音声対話システムの応答性が向上しているが，多くの音声対話システムでは発話者の発話を起点として発話が開始される．一方，高齢者との日常的な会話では，傾聴者が相手の発話を待ったうえで次の発話を開始する場面がある．本研究では，自然な会話行動を行う音声対話の実現を目的として，沈黙認識に基づいた音声対話システムを提案する．本システムは事前に設定した文章群と感情評価を用いて発話文章を生成し，連続した沈黙を認識した場合は，システムが直前に発話した文章に続く文章を生成する．本システムと音声対話を行う実験により，「楽しさ」や「親しみやすさ」などの項目について感性評価を行った．