本稿では，プロジェクタ-カメラシステムを用いて，直接光による鏡面反射や拡散反射などの直接成分と間接光による相互反射や表面下散乱などの大域成分を分離する手法を提案する．チェッカパタンを投影する従来手法には，白と黒のブロック境界のボケにより分離精度が低下するという問題がある．そこで提案手法では，データ駆動のアプローチで，少数の投影パタンを用いて，ブロック境界のボケに頑健な成分分離を行う．具体的には，畳み込みカーネルを用いて投影パタンを表現できることに着目して，投影パタンと画像分解の両方を，畳み込みニューラルネットワークの枠組みで同時に最適化する．実画像を用いた実験を行い，提案手法の有効性を示す．