唐朝统一西域之后，扩建石头城并在这里设置了葱岭守捉所；元朝初期，统治者又在这里大兴土木，清代光绪年间在这里设立了蒲犁厅后进行了大规模的增补修缮，使得石头城规模一代比一代庞大。
当年玄奘前往印度取经的时候也曾路过盘陀国（也就是石头城），根据他的描述我们可以了解到整个石头城周长有20多里，可见这座石头城有多大。如今我们也仅仅只能通过现存的残垣断壁来畅想它曾经庞大的规模，曾经忙碌的商队和骆驼往来的场景。
现存的石头城主要为晋唐时期城址、寺院、居址以及清代的官署。主要包括了内城和外城两个部分，其中外城方圆3600米，遗憾的是破坏严重，仅仅保存下来城墙、炮台和民居的残址。
相比外城而言，内城则保存得更为完好，古时候的城堡规模依然可以清晰可见。整个城堡周长1285米，城池地基以石头堆砌，城墙用泥、石砌成，哨所和炮台主要用土坯修筑而成。
