映画『Back to the Future』では過去と未来の間を行き来して，過去を変えると未来が変わるというモデルで話が進んでいましたね．このモデルは量子力学などで考えられている多世界モデルと呼ばれるもので，さまざまな世界線が存在している中で，特定の1本から別の1本に乗り換えると未来が変わるというものでした．でも因果関係は過去から未来の方向なので未来を変えることによって過去を変えることはできません．
タイムトラベルの話ではありませんでしたね．まず，学習とは何かを概念的に示したいと思います．図-1のような観測データがあるときに，これらを図-2のように滑らかな線で結ぶのが学習です．AからDの間は実際のデータの間を埋めるので内挿と言います．
Aの左やDの右にはデータがないので，実際にどうなっているかは分からないのですが，AとDの間の曲線から推測して破線のように推定するのが外挿です．質問で「予測」と呼んでいるのはこの部分ですね．このグラフの横軸が時間軸で右が未来，左が過去だとすると，Dの右が「未来予測」になるわけです．普通過去のことは予測とは言いませんが，質問の用語をそのまま使うとAの左の部分が「過去予測」になります（「未来推定」「過去推定」と呼んだ方が自然でしょう）．つまり，この外挿部分には方向性がありません．未来方向にも過去方向にも同じように計算できるのです．
歴史の深層学習では，こんな単純な1次元データではなく，数億，数兆，いやもっと大きな次元のパラメータの学習をすることになるわけですが，原理的には上記と同じことです．この超多次元空間が時間を表しているとすると，学習された曲線は過去から未来につながる世界線と呼ばれるものになります．Back to the Futureではこの世界線が何本も描かれていたのです．
もうお分かりでしょうが，現実の世界とは異なり，深層学習にとってはまだ見ぬ未来の推定と，データのない過去の推定は同じ問題なのです．
ローブ
