様々な方向の光源下で撮影した画像を組合わせて任意照明環境下の画像を生成する技術は再照明と呼ばれる．再照明において鏡面反射や影などの高周波数成分を生成するためには，一般に，密に配置した光源下で撮影した大量の画像が必要になる．本稿では，少数の照明環境下で撮影された画像を用いた再照明法を提案する．提案手法では，少数の照明環境で鏡面反射成分を効率よく捉えるために，点光源（平行光線）だけでなく面光源やそれらの組合せも利用する．また，畳み込みカーネルを用いて照明環境を表現できることに着目して，照明環境と画像補間の両方を，畳み込みニューラルネットワークの枠組みで同時に最適化する．実画像を用いた実験を行い，提案手法の有効性を示す．