自動運転車が周囲の状況を正確に把握し、安全な運転を行うためには、その判断過程を人間が理解できることが重要である。本研究では、自動運転車が行動を起こす前に、前方の状況を踏まえた判断理由のキャプションを生成することで、乗客に判断理由を分かりやすく提示し、自動運転に対する信頼性を高めることを目指している。また、従来のキャプション技術は主に視覚情報に依存する中、夜間など複雑な状況認識に優れたLiDARデータを活用することで、画像の弱点を補完しつつ、より正確な近未来予測を可能にする新たなモデルを開発している。