本研究では、テキスト生成における有害表現を除去することに焦点を当て、テキストの生成品質を維持できる拡散言語モデルの構築を目指す。まず、拡散モデルのテキスト理解能力を向上させることを目的として、換言タスクを用いた継続学習の手法を提案する。2つの既存の拡散言語モデルを対象に、目標タスクに対する提案手法に基づいて実験を行い、精度が向上したことを確認した。さらに、有害表現を含むテキストの認識能力を強化するために、別のデータセットを用いてテキスト入力を処理するためのエンコーダを個別に訓練した。その後、このエンコーダを用いて2つの拡散言語モデルの結果を再度比較し、有害表現の除去に対する有効性を確認した。