医師の過労死基準超過が喫緊の課題となる中，医療画像と質問文に対して適切な回答を生成するMedical VQAモデルは，業務負担軽減を実現する技術として高精度化が求められている．既存のVQAモデルは特定の分野に特化し，多様な医療分野の画像や多角的な質問の入力に対してはハルシネーションが発生しやすいという課題が残る．本研究ではこの課題に対し，知識グラフ及び画像グラフをLLMの入力に活用した共起関係学習モデルを提案する．提案手法は病理学的な因果推論への有効性，かつ抽象度の高い質問への精度向上が確認された．本手法は構造化された背景情報を踏まえた推論により，入力画像・質問の多様化へのロバスト性向上に貢献する．