ロボットが自律移動を行うためには，自己位置の把握と目的地に向かうためのマップが必要である．自己位置の認識では，人とロボットの共通認識のために，周辺領域のセマンティックマップを使うことが提案されている．本研究では，全方位画像と現在地と目的地の三つを入力とし，事前に学習したセマンティックマップに基づき大域的自己位置と進行方向の推定を行うマルチタスク型のニューラルネットワークモデルを提案する．そして，実験を通してセマンティックマップに基づく大域的自己位置と進行方向の推定精度を評価する．