クラウドサーバにおいて近年多くのサービスが提供され，機械学習モデルを用いたサービスも多い．その一方で，機密データを扱う際には，プライバシー保護が重要な課題といえる．そこで期待されるのが準同型暗号の活用である．本稿では，C++実装した畳み込みニューラルネットワークの推論において，Microsoft SEALライブラリによる準同型暗号化を行い，そのコードに対してOpenMPを用いた階層的ループ並列処理を適用することにより性能向上を図った．性能評価にはMNISTデータセットを用い，32コアのXeon Platinumサーバで実行した結果，準同型暗号を用いた畳み込みニューラルネットワークの推論時間は短縮され，提案手法の有効性が確認された．