SNSの普及により、写っている物体や建物を特定することが難しい写真が増えた。本稿では、その中でも建物に注目し、識別を行う。被写体は撮影時刻などにより色が変わる場合がある。正しく識別をするためには、被写体の形状自体を特徴量とした識別を行う必要がある。これまでに、写真を構成する主要な色につられて認識精度が下がることや、背景がノイズとなり、本来目的とする建物自体の識別が難しくなることが分かっている。そこで、物体検出アルゴリズムを用いて背景をなくした画像を入力とし、昼と夜のラベル情報を付加して学習することで、環境に左右されない建物識別モデルを作成した。