代表的なブラインド音源分離手法であるマルチチャネル非負値行列因子分解 (MNMF) では，音源モデルと空間モデルが重要な役割を果たしている．最近、NMFに基づく低ランク音源モデルの代わりに、DNNに基づく深層音源モデルを用いた半教師あり音源分離手法が提案されている．本研究では，話者特徴と音素特徴の二種類の潜在変数を内包する深層音源モデルを定式化し，各空間内での話者や音素の分離度が高くなるような学習法を提案する。任意話者の混合音を用いた実験により，提案手法の有用性を検証する．