近年，資産運用の必要性が高まる中，機械学習による株価予測は注目を集めている分野である．従来手法として，株価とニュース記事等のテキストデータを用いた予測モデルなどが提案されている．しかし，従来手法ではテキストからは事前学習モデルを用いて特徴抽出しているが，株価から特徴抽出するための事前学習モデルは提案されていない．そこで本研究では株価データから特徴を抽出するために，株価予測のための事前学習モデルを提案する．提案モデルでは移動平均のリターンを用いた学習を行うことで株価データから特徴抽出を行う．実験の結果，提案モデルから株価の上昇・下降傾向の特徴を抽出できることを確認した．