A cidade de Gyantse está estrategicamente localizada no vale Nyang Chu nas antigas rotas comerciais do Vale Chumbi, Yatung e Sikkim, que se encontram aqui. De Gyantse, as rotas levavam a Shigatse rio abaixo e também ao longo do Karo La (passagem) até o Tibete Central. A fortaleza (construída em 1390) protegia os acessos ao sul do Vale Yarlung Tsangpo e Lhasa. A cidade foi cercada por um muro de 3 km de comprimento.
O Mosteiro Palcho ou Mosteiro Pelkor Chode ou Shekar Gyantse é o principal mosteiro no vale do rio Nyangchu em Gyantse. O recinto do mosteiro é um complexo de estruturas que, para além do Mosteiro Tsuklakhang, inclui também o seu Kumbum, considerado o maior do Tibete, que se destaca pelas 108 capelas nos vários pisos e pelo antigo Dzong ou forte.
A fortaleza original, conhecida como Gyel-khar-tse foi atribuída a Pelkhor-tsen, filho do rei anti-budista Langdharma, que provavelmente reinou de 838 a 841. As atuais muralhas foram supostamente construídas em 1268, após a ascensão ao poder de a seita Sakyapa.
Um grande palácio foi construído em 1365 por um príncipe local, Phakpa Pelzangpo (1318–1370), que havia encontrado apoio para fazer campanha pelos Sakyapas no sul. Ele também trouxe um famoso professor budista, Buton Rinchendrub de Zhalu, para morar em um templo lá.
Mais tarde, no século XIV, o filho de Phakpa Pelzangpo, Kungpa Phakpa (1357–1412), expandiu o complexo Gyantse e mudou a residência real do palácio e forte que seu pai construiu na entrada do vale Gyantse. Ele também construiu Samphel Rinchenling, o primeiro templo no topo da colina, ao lado do castelo. Embora as paredes estejam em sua maioria em ruínas, elas ainda contêm alguns murais do século XIV em estilo Newari, bem como no estilo Gyantse que cresceu a partir dele.