建設業界では慢性的な人材不足の課題に対し、業務の効率化や属人化の解消が求められている。本報告では効率化が求められる設計部門の図面審査業務に注目し、断熱や防水など不具合に直結する情報を多く含む矩計図を題材に検証を行った。矩計図には形状による表現のみならず補足する文字情報も含まれることから、マルチモーダルLLMモデルを採用した。またセグメンテーションモデルと組み合わせることで入力画像の解像度の向上を試みた。その結果、限られた学習データにおいても審査項目の分類タスクで一定の成果を上げ、さらに画像ベースの検索拡張生成（RAG）を活用したfew-shotプロンプトの生成により、分類精度の向上を実現した。