Mesh tensorflowは2019年に提案された分散型深層学習用の言語である。モデル並列によって大規模ニューラルネットワーク学習を行うといった特徴を持つソフトウェアだが、BERT型の構造を持つニューラルネットワークのみにしか使用できない点もあり性能評価事例が多くない。そこで本研究ではGPUスパコン上でMesh Tensorflowのサンプルコードの性能評価を行う。コード内ではパラメタとしてバッチサイズやレイアウトルール等が存在するため、それらを考慮した性能評価を行う。