自動交渉は，AI同士が異なる利害関係や目的を持ちながら自動で交渉を行う技術である．近年，二者間複数論点交渉問題における交渉戦略の獲得のために強化学習が適用されており，その汎用性から注目を集めている．先行研究において，自動交渉戦略を獲得する汎用的なEnd-to-Endの強化学習フレームワークが提案された．しかし，適切な交渉戦略を学習するためには膨大な訓練を対戦相手や交渉ドメインごとに行う必要がある．そこで，本稿では，より短時間かつ効率的な訓練を実現するため，事前学習モデルの構築とファインチューニングのアプローチを提案する．さらに，提案したアプローチの効果を検証するための評価実験結果を報告する．