インターネット上のニュース記事には見出しが付けられているが，中には本文の内容と乖離した不適切なものも存在する．本研究では，既存の方法では評価が困難な，見出しの忠実度を評価する手法を提案する．従来のキーセンテンスに着目した要約評価手法では重要文を組み合わせて作るタイプの要約を評価することには長けているが，ネットニュースの見出しのような20文字程度の短い要約文を評価することは困難である．本研究では，リード文との一致率評価と，本文とその関連記事から抽出した重要語句の包含に着目した2段階の処理による評価方法を提案する．