少子高齢化による労働力不足が懸念される状況は、世界中の多くの先進国で見られます。そのため、科学実験や製品の組み立てなどの高価値タスクを自動化するための視覚言語融合（Vision & Language）および関連技術に対する注目が高まっています。本講演では、手続き的なテキストと動画データからの人間行動の理解に焦点を当て、その応用や技術的課題、社会活用の展望について解説します。たとえば、作業動画に対するキャプション生成では、一般的な動画キャプションよりも詳細に作業内容を描写する必要があります。また、作業をロボットに代替させることを目的として、手順書や動画からロボットのタスクや動作計画を生成する取り組みも始まっています。本講演では、このような状況に対する国内外の最新の研究状況を紹介するとともに、今後の展望についても語ります。