本稿では，ワンショット偏光画像を用いて物体表面の材質を識別する手法を提案する．提案手法では，偏光画像や偏光度・偏光角などの特徴が，屈折率などの物体表面に固有の性質だけでなく，拡散・鏡面反射率や表面粗さを介して照明環境にも依存することに着目して，識別に適した照明環境も設計する．具体的には，1×1の畳み込みカーネルを用いて照明環境を表現できることから，ワンショット画像撮影時の照明環境と識別器の両方を，畳み込みニューラルネットワークの枠組みで同時に最適化する．多波長・多方向光源システムとモノクロ偏光カメラを用いた実験を行い，提案手法の有効性，特に，偏光の活用と照明環境最適化の有効性を示す．