2K-04
生成AIを用いた自動型付けの性能評価
○嵩原ひびき,戸田航史(福岡工大)
近年,生成AIがソフトウェア開発の現場においても広く利用されつつある.
Webシステムの開発ではセキュリティ向上を目的として,JavaScriptで書かれたコードをTypeScriptのコードへの変換が行われるが,その変換処理の1つとして型付けが挙げられる.
本研究では,その型付けを生成AIを用いて自動化した場合の性能評価を行う.
実験では初級中級上級に相当するJavaScriptのコードを用意し,評価尺度として型をチェックするテストケースの通過割合を用いた.
生成AIとしてはChatGPT3.5およびChatGPT4を採用した.
実験の結果,初級ではChatGPT3.5では半分程度,ChatGPT4では9割程度,中級では2割程度と6割程度,上級ではテスト自体に失敗した.
今回の結果から,生成AIによる自動型付けの可能性が示唆されたと考えられる