大規模言語モデル(LLM)は、この数年間に驚異的なスピードと規模で技術的に進化を続けており、実社会での利活用も同様に前例のないレベルで発展しています。この1年ほどの間に、LLMの推論能力は大きく向上し、高い自律性を備えたAIエージェントや学会に採択されるレベルの論文を自動生成するLLMが登場するなど、驚きのニュースが途切れることがありません。オープンなLLMが多数公開され、先端的な研究成果を検証できる可能性が高まる一方で、ハルシネーションや安全性の問題はより一層注目を集めるようになりました。本オープニングでは、このような「LLMの開発・活用の新展開」の背景と、これに関連する活動としていわゆる「AI法案」や学術会議提言「生成AIを受容・活用する社会の実現に向けて」について簡単に紹介します。

本講演では、大規模言語モデル（LLM）開発の最新動向と実践的手法について体系的に解説する。まず、事前学習および事後学習において鍵となるデータの構築手法を紹介する。具体的には、大規模ウェブコーパスの収集とフィルタリング、コードや数学に関する高品質な学習データの構築、そしてLLM自身による模倣学習・自己評価に基づく合成データ作成など、近年注目を集めているアプローチを取り上げる。さらに、LLMが扱える文脈長の拡張やGroup Relative Policy Optimization（GRPO）など、LLMの推論能力を強化する手法についても解説する。また、最近の評価ベンチマークやLLM-as-a-judgeの活用事例などを交えながら、LLMの適切な評価方法について議論する。

ChatGPTの登場を契機に、LLM（大規模言語モデル）は業務や社会の在り方に大きな変革をもたらしています。本講演では、2025年7月時点でのLLMをめぐる技術動向や業界の潮流を俯瞰するとともに、昨今注目されるAgentic AIや、開発文脈で重要性が高まるModel Context Protocol（MCP）といったトピックにも触れます。また、実際に企業で導入された公開事例を中心に、どのような課題にLLMが適用され、どのような価値が生まれているのかを紹介します。※変化の激しい分野のため、当日の講演内容が一部変更となる可能性があります。

本講演では、私たちがGENIACなどの取り組みを通じて開発を進めてきた国産の大規模言語モデル「PLaMo」について、その開発の背景、これまでの活用事例、そして今後の発展に向けた展望を解説する。また、生成AIプロダクト群「PreferredAI」も紹介し、企業の業務効率化やコンテンツ生成を支援する具体的なツールやユースケースを取り上げる。生成AIがどのように構築され、どのように実際の現場で活用されているのかについても詳しく述べ、今後の可能性について展望を示したい。

SB Intuitionsは、ソフトバンクグループの強力な計算機資源を背景に、大規模な基盤モデルの内製開発に注力している。特に、事前学習を含む大規模な言語モデルの開発をベースに、画像や音声など複数のモダリティを扱うマルチモーダル基盤モデルの開発も進行中である。これらの基盤モデルは、単なる質問応答にとどまらず、自律エージェントと統合されることでさらなる進化を遂げようとしています。自律エージェントによる、深い情報収集や、より高度な意思決定が可能となり、より実応用における可能性が広がる。本講演では、これらの最新の開発状況について詳しく紹介し、現状のサービス展開に向けた展望や将来的な可能性についても触れる。

Alibaba社が開発したQwen2.5-32Bおよび7Bをベースに、日本語特化の継続事前学習および蒸留を行い、日本語性能にどのような変化が生じたかを紹介します。32Bモデルでは継続事前学習により日本語理解を強化し、指示追従性は差分Vectorによって補完。7Bモデルでは、この32Bモデルの出力を用いた蒸留により、日本語性能の向上を実現しました。さらに、QwQ-32Bの差分Vectorを活用し、追加学習を施すことで、日本語における推論能力を強化したReasoningモデルも構築しています。本講演では、これらの技術的アプローチと、その効果を具体的な評価結果とともに解説します。
本モデル群は、経済産業省とNEDOが実施する、国内における生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて開発されたものです。

国立情報学研究所におけるLLMの研究開発活動を紹介します。国立情報学研究所では、大規模言語モデルに関するアカデミア研究拠点を構築して、生成AIモデルの透明性・信頼性の確保に向けた研究開発に取り組んでいます。本講演では、LLM構築のためのコーパス整備、モデル構築の過程、LLMのチューリングと評価など一連の工程を概観しつつ、フルオープンモデルであるllm-jpシリーズとそれを支えるオープンコミュニティllm-jpの活動をご紹介します。また、コーパス検索基盤、LLM入出力分析、安全性データセットの構築や安全性評価など、LLMの透明性や信頼性の確保に向けた研究開発を取り上げて概要を紹介します。さらに、LLMのドメイン適応、視覚言語、実環境インタラクション、対話など、高度化に向けた取り組みについても触れて、今後の課題を考察します。