機械学習技術、特に深層学習技術の進展を受け、第3次AIブームとしてAIシステムの産業応用が盛んに追及されてきた。機械学習技術においては予測性能を高めることが最も重要な観点であったが、産業応用にあたっては、それに限らない品質の定義やマネジメント、そしてシステム全体の開発や運用の効率が求められている。一方で、データからシステムの挙動を訓練により導出するという機械学習技術に対しては、従来のソフトウェア工学やシステム工学そのままでは対応が難しい点もある。このような課題については2018年頃から議論されるようになり、ソフトウェア工学分野での研究開発や、産学合同でのガイドライン策定など、非常に活発な追及がなされてきた。本講演では、2週にわたるセミナーの序論として、これらの「機械学習工学」とも呼べる取り組みの背景や進展について概観する。

ソフトウェアシステムの品質保証を行う上で、テストは欠かせないプロセスである。しかし人間が直接的に振舞いを決めていた従来ソフトウェアと異なり、機械学習を用いたAIシステムはデータによって振舞いが定められるため、テストにおける正解が分からないことやどれだけテストすれば振舞いを網羅できるか分からないといった問題がある。また、テストなどの品質保証活動を通じて修正が必要な欠陥が見つかったときに、従来ソフトウェアのように人間が直接プログラムを修正することができないため、一般的にはデータによる再訓練をすることで振舞いを修正する。しかし、再訓練による修正は、大量のデータが必要な上、他の振舞いに影響を与えずに狙った振舞いのみを修正することは困難である。このような多くの課題のあるAIシステムのテスト・デバッグに対する研究は、この4、5年で急激に増えており、ソフトウェア工学における1つの大きなトレンドとなっている。本講演では、従来のソフトウェア工学技術がAIシステムのためのテスト・デバッグ技術においてどのように取り入れ展開されているかについて、最新のトピックも交えながら紹介・解説する。

効果的かつ効率的な機械学習システム開発運用に向け、機械学習モデルやシステム全体の良い設計の指針、さらには開発運用のあり方の整理と共有が必要です。機械学習デザインパターンは、そうした指針を再利用しやすいように、データの表現やモデルの構築、訓練、MLOpsにおいて頻出の問題と解決策をまとめたものです。新時代の新常識として、AIエンジニアが知るべきベストプラクティスといえます。本講演ではAI活用成熟度や機械学習ライフサイクルとあわせて機械学習デザインパターンの全体像ならびに主要パターンを解説します。特にGoogle Cloudデータ分析トップLakshmanan氏らがまとめた『機械学習デザインパターン』（講演者ら訳、オライリージャパン、2021）と、それらへの追加として講演者らが整理した『Software-Engineering Design Patterns for Machine Learning Applications』（講演者ら著、Computer、2022）を取り上げます。