A study on Machine Learning and its Application to Cyber Security

(邦訳:機械学習とサイバセキュリティへの応用に関する研究)
 
Su Jiawei
 
キーワード
画像認識 ニューラルネットワーク 敵対的学習 深層学習 安全性評価

[背景]ニューラルネットワーク画像認識は特有の脆弱性がある.

[問題]どのような脆弱性があるのか?
[貢献]1ピクセル攻撃を提案・検証し,新しい脆弱性の可能性や脆弱性の原因を証明した


 近年,機械学習,特に深層学習が広く普及しています.たとえば,グーグルDeepMindによって開発された深層学習囲碁プログラムが,世界トップ棋士に勝ったことは,よく知られた例であり,深層学習を用いた研究を加速させました.また,研究者達がさまざまな実験によって,深層学習に基づく画像認識が人間より高い認識精度を持っているということを証明しました.

 しかしながら,深層学習が人間と異なる方法で認識を行うため,深層学習特有の特徴をうまく活用し,誤認識させるような攻撃が可能となります.たとえば,顔認識の場合には攻撃者が自由に認識結果を操作することができるようになります.私達の研究では,深層学習の脆弱性とその原因とともに安全性を評価する手法を提案することによって,上記の脆弱性を解決あるいは緩和することを目指しました.

 本研究における課題は,主に以下の2点です.:1)各種の深層学習アルゴリズムが持つ論理的な脆弱性および脆弱性が生じる原因の分析.2)論理的な脆弱性が実の深層学習にもたらすリスクの評価および分析.

 上記の課題に対し,まず学習アルゴリズムの論理的な脆弱性を特定,分析を行いました.具体的には,既存文献で提案した脆弱性を分析し,これらの脆弱性がどのような影響を生じさせるのかを示しました.たとえば,機械学習は敵対的な環境(たとえば:サイバーセキュリティ,画像認識など)にも広く応用されていますが,学習アルゴリズム自身が脆弱なため,さらなる脆弱性をシステム全体にもらたす可能性が考えられます.また,ニューラルネットワークに基づく画像認識を自動運転に応用した場合,攻撃者が入力する画像を少しだけ改ざんしただけで,画像認識の結果を大きく変えることができ,これによって交通事故を起こすことが可能となります.本研究によって,たった1つのピクセルを改ざんするだけで,畳み込みニューラルネットワーク(CNN)の画像認識結果を大きく変えることができることが示されました.

 本研究は人工知能,機械学習技術の理論と応用にかかわる研究であり,機械学習が世界中に広がる将来には,その精度とともに安全性も非常に重要になることを示唆しています.本研究の成果により,機械学習を基づくさまざまなシステムの安全性を適切に評価し,脆弱性を取り除くことで,これらのシステムのセキュリティ向上を図ることができます.したがって,本研究の成果は機械学習が応用されるすべての分野に役に立つと信じています.

 本研究は日本での初めての本格的な敵対的機械学習に関連する研究です.近年では,このテーマに関する論文が国内外のトップ会議で多数発表,議論されており,機械学習アルゴリズムの各応用領域において,その精度ともに敵対的な入力に対する安全性も厳しく要求されています.我々はこれらの問題を解決に取り組む研究グループの1つであり,安全性について新しい研究成果を発表することで,今後も世界的にインパクトを起していきたいと考えております.


 

 
差分進化を利用した1ピクセル攻撃:
既存の複数の1ピクセル攻撃(ピクセルの座標と色の値で構成されたベクトル)の中から,いくつか選んで変異,交叉などの手法でより成功率が高い新たな攻撃を生成します.従来手法の最急降下法と比べ,モデルパラメータを知らない状況でも差分進化に基づく1ピクセル攻撃が可能です.

 
 BBC news: https://www.bbc.com/news/technology-41845878
 MIT review: https://www.technologyreview.com/2017/10/30/148086/how-do-you-turn-a-dog-into-a-car-change-a-single-pixel/

(2020年5月26日受付)
 
取得年月日:2019年9月
学位種別:博士(工学)
大学:九州大学



推薦文
:(コンピュータセキュリティ研究会)


畳み込みニューラルネットワークを利用した画像認識アルゴリズムに対する敵対的生成ネットワークを提案,画像認識を利用しマルウェア識別法の小型実装を実現した.提案のone-pixel攻撃は,BBCニュースやMITレビューでも取りあげられ,IEEE Transの論文の引用は450件を記録してる.


研究生活


博士課程に入学するときには不安をいだいていたのですが,指導教員の櫻井先生とその同僚の先生方,研究室メンバのおかけで,適切な研究指導,実験環境などに恵まれ無事修了できました.この場を借りて先生方とメンバたちにお礼を申し上げます.さらに,九州大学の新しいキャンパスは設備と施設が十分用意されおり,また,キャンパスの立地が都市部から離れているために,自然を楽しむと同時に研究に集中でき,楽しい博士生活を送ることができました.