テキストから画像への人物特徴検索は、与えられたテキスト記述のクエリに一致する人物を検索することが目的である。主な課題はテキストと画像間の特徴表現の大きな違いにある。先行研究では、全体的かつ局所的にテキストと画像間の特徴を学習することで、この課題に対処しようとしている。しかし、先行研究の全体的特徴学習では、テキストと対になる画像の対応関係がノイズとなり過学習している。本稿で提案する手法は、先行研究のアプローチに制約を加え、過学習を抑制する。加えて、局所的特徴学習を活かすために、置換された単語を検出する学習を導入し、表現の頑健性を向上させる。実験では提案手法が先行研究をより上回ることが示された。