漢方医学において古くから知られる舌診は、医師によって読影に差が生じるため、定量的な評価の確立が期待されている。本研究では、舌診の項目の一つである舌色に着目し、AIの一種である深層学習を用いて舌領域画像から舌色診断を行う一連のシステム構築を目的とする。セグメンテーションモデルであるU-Netで舌画像から舌領域部分のみを抽出し、5人の漢方熟練医による舌色の診断結果を基に、特徴抽出モデルであるEfficientNetV2で舌色診断を行う。舌色診断の際には、舌全体および舌と五臓六腑の関係を用いた独自手法で舌領域を分割し、特定部位毎に学習する。本成果はAI技術の漢方医学への応用の可能性を示唆している。