桑噶方托寺在洛扎县境，由西藏著名苦行僧米拉日巴于北宋熙宁十年（107年）修建。据载，起初其师马尔巴要他修建三角形的房屋，修了大半，令其拆掉。继又要他修建半圆形的房屋，当快要完工的时候，马尔巴又令其拆除。几经拆修，最后建成现存碉楼式的楼房。原高9层，现存7层。
后来米拉日巴的门徒众多，逐步形成了遍布全藏的噶举教派，桑噶方托寺也建成了一座颇具规模的大寺。寺里藏有古本手抄经卷，颇为珍贵。
