自然言語処理タスクにおいて著しい性能向上と学習時間の短縮に成功したTransformerは、近年、時系列データの予測など様々な系列データに対して適用されている。本論文は、再帰型ニューラルネットワークの一種であるリザバーコンピューティングに、Transformerの重要な構成要素となっている自己注意機構(self-attention)と相互注意機構(cross-attention)を組み込むことによって、系列信号フィルタリングのための長期的な依存関係を捉えることができるモデルを提案する。