Die Stadt Gyantse liegt strategisch günstig im Nyang Chu-Tal an den alten Handelswegen aus dem Chumbi-Tal, Yatung und Sikkim, die sich hier trafen. Von Gyantse führten Routen nach Shigatse stromabwärts und auch über den Karo La (Pass) nach Zentraltibet. Die Festung (erbaut 1390) bewachte die südlichen Zugänge zum Yarlung Tsangpo-Tal und Lhasa. Die Stadt war von einer 3 km langen Mauer umgeben.
Das Palcho-Kloster oder Pelkor Chode-Kloster oder Shekar Gyantse ist das Hauptkloster im Nyangchu-Flusstal in Gyantse. Der Klosterbezirk ist ein Komplex von Bauwerken, der neben dem Tsuklakhang-Kloster auch das Kumbum umfasst, das als das größte derartige Bauwerk in Tibet gilt, das vor allem für seine 108 Kapellen in seinen mehreren Etagen und das alte Dzong oder Fort bekannt ist.
Die ursprüngliche Festung, bekannt als Gyel-khar-tse, wurde Pelkhor-tsen zugeschrieben, dem Sohn des antibuddhistischen Königs Langdharma, der wahrscheinlich von 838 bis 841 regierte die Sakyapa-Sekte. Ein großer Palast wurde 1365 von einem lokalen Prinzen, Phakpa Pelzangpo (1318–1370), gebaut, der Gunst gefunden hatte, um für die Sakyapas im Süden zu werben. Er brachte auch einen berühmten buddhistischen Lehrer, Buton Rinchendrub von Zhalu, mit, um dort in einem Tempel zu leben.
Später im 14. Jahrhundert erweiterte der Sohn von Phakpa Pelzangpo, Kungpa Phakpa (1357–1412) den Gyantse-Komplex und verlegte die königliche Residenz aus dem Palast und der Festung, die sein Vater am Eingang zum Gyantse-Tal gebaut hatte, hierher. Er baute auch den Samphel Rinchenling, den ersten Tempel auf einem Hügel, neben der Burg. Obwohl die Mauern größtenteils zerstört sind, enthalten sie noch einige Wandmalereien aus dem 14. Jahrhundert im Newari-Stil sowie im daraus entstandenen Gyantse-Stil.