近年、LCC削減の観点から綿密な保護性さび層の形成により無塗装で使用することができる耐候性鋼材が注目されている。耐候性鋼は大気中において乾湿を適切に繰り返すうちに、その表面に綿密で密着性に優れたさびが形成される。耐候性鋼は腐食速度が遅くなるため、無塗装でも使用できる鋼で、耐候性鋼特有のさびは「保護性さび」と呼ばれる。保護性さびが形成されるまでは、腐食状況を把握するために、定期的な点検が必要である。しかし、点検作業において目視での判定は判断基準が曖昧になりやすく、検査員の経験や体調によって誤判断が生じる。そこで、保護性さび評点の判断のバラつきを抑制する判定手法が必要である。本稿ではCNNを用いた保護性さびを類推するモデルを事前学習済みモデルと比較して性能評価を行う。